自然言語処理技術領域

2020年7月17日

AAAI-20で発表された自然言語処理（Natural Language Processing、NLP）領域についてご紹介します。NLP関連の論文は全体の採択論文の中の約18％となっていて、AI技術分野の一角といっても過言ではないかと思います。AAAI-20のプログラムを前年に開催されたAAAI-19のプログラムと比較してみると、Dialogue、Semantics and Summarization、Q&Aといった分野の伸びが大きくなっていること、またGeneration、Machine Translationといった新しい技術カテゴリが作られていることに興味をひかれました。これら新カテゴリの登場は、Deep Neural Networkの応用として生成モデルがGANやflowによって流行してきていることと、2017年にGoogleの発表したTransformer＊1が大ブレイクしたことによって、Machine Translationの論文が飛躍的に延びたことが要因ではないか、と考えています。学会での発表は、現地で参加してみると、アメリカが中国からの入国制限を実施していたために、ビデオ発表やポスターのないものが非常に多くみられました。体感では2-3割程度しか登壇がない状況でした。

NLP分野のサブカテゴリ別採択論文数（AAAI-19/20プログラムより独自に集計）

ここからは私が聴講して気になった論文をいくつかご紹介していきたいと思います。

Knowledge-Graph Augmented Word Representations For Named Entity Recognition *2

この研究では、NER（Named Entity Recognition固有表現抽出）について提案しています。固有表現抽出とは、文章中から日時、人名、組織名などの属性を持つ単語列を抽出してそれにカテゴリラベルを付与する問題です。NERではELMo＊3やBERT＊4のような、文章の前後関係を考慮しながら学習する手法（コンテキストモデリング）が良く利用されています。この手法は、学習データにない単語列は固有表現抽出の精度が格段に落ちてしまう、という問題点を持っています。そこで彼らは、事前知識としてナレッジグラフの情報を用い、その単語列の属性や関係性といった情報も含めて単語列の表現を学習する方法Knowledge-Graph Augmented Word Representation（KAWR）を提案しています。このような、文章としての学習データのほかにナレッジグラフなどの知識を使う試みはいくつかの論文で紹介されていました。

Boundary Enhanced Neural Span Classification for Nested Named Entity Recognition

この研究では、固有表現抽出について提案しています。彼らがフォーカスしたのは、抽出したい固有表現が入れ子構造になっている場合にうまく学習できない、という問題です。彼らは、内部表現のパラメータは共有しておいて、NERの「文字列切り出し」と「カテゴリ分類」を別々に解く、というアーキテクチャBoundary Enhanced Neural Span Classification model（BENSC）を提案していました。同時解決すべき問題に対して、内部表現は共有しつつ、別々にモジュールを持つというジョイント学習のアプローチが面白いと思いました。

WinoGrande: An Adversarial Winograd Schema Challenge at Scale

この研究では、コンピュータの「知能」を測定するテスト向けデータセットについての提案をしています。機械の知能の真の能力を調査するためのデータセットWinoGrandeを公開したという発表でした。このデータ作成のポイントは、クラウドワーカから広くデータを集め、大規模なデータセットを作ったということと、このようなバイアスを持っている問題をフィルタリング（AfLiteというアルゴリズムを提案）してデータをブラッシュアップしている点です。この論文はAAAI-20 Outstanding Paper Awardを受賞しており、データセットの公開やその作り方の工夫に関する論文が受賞しているというところに、機械学習時代のデータの作り方の大切さを感じました。

Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset

この研究では、DSTC8（The Eighth Dialogue System Technology Challenge）＊5でGoogleから提案されたトラックのデータセットと対話の記述方法について提案しています。タスク指向の対話とは、Google HomeやAlexaのような、「明日の天気を教えて」や「明後日の夕方からレストランを予約したい」といった人が対話を通じてある目的を達するための対話です。彼らは、①このようなタスク指向の対話をモデル化するためのデータが少なく、レストランの検索や航空券の予約など、限られたタスクのデータしかない、②1つの機能（たとえばレストラン予約）を実現するサービス（レストラン予約サイト）は複数存在しており、増え続けるサービスをサポートする必要があるという2点を課題として挙げています。そこで彼らは、まず様々なタスクの大規模なデータセットを作り、次にタスクが増えても新規にAPIを開発しなくていいように、タスクの記述を自然言語で記述する方法を提案しています。この論文のポイントはデータの作り方です。対話シミュレータを使って対話を作り、普通の対話として人間がみておかしい表現をクラウドワーカに修正してもらうという手法を紹介しています。この論文からも言語について「どうやってデータを作るのか」というのが非常に大きな課題であり、そこに対してさまざまな工夫を検討していることを実感しました。

まとめ

文中のコンテキストの考慮はBERT/ELMo等の事前学習済み言語モデルの技術で進歩してきており、文書中に現れない”知識”との融合が一つの焦点になってきていると感じました。知識がBERTにどのくらい埋め込まれているのかを調べるといった発表もあり、面白かったです。また、NLP分野における機械学習の現実的な課題に手が付けられてきていると感じました。例えば、データセット作成手法/評価方法といった課題です。対話の技術領域でも、タスク指向のスケール化、応答のバリエーションなど現実的な課題が議論されてきているように見えます。AAAIは言語処理の領域で面白い発表が多く、私にとっては有益な学会聴講となりました。

＊1 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin,” Attention Is All You Need,” NIPS2017.
＊2 [video] AAAI-2020: Knowledge-Graph Augmented Word Representations For Named Entity Recognition
＊3 Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner,Christopher Clark, Kenton Lee, Luke Zettlemoyer,,“Deep contextualized word representations,” NAACL 2018.
＊4 Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova, “ BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” arxiv 2018.
＊5 DSTC8 Official Site