顧客接点業務を支援・代替する知識・言語処理技術NTTメディアインテリジェンス研究所

西田 京介（にしだ きょうすけ）/ 齋藤 邦子（さいとう くにこ）/ 甘粕 哲郎（あまかす てつお）/ 磯 和之（いそ かずゆき）/ 西岡 秀一（にしおか しゅういち）

NTTメディアインテリジェンス研究所では、コンタクトセンタ向け技術として、業務マニュアルやFAQなどの文書を解析し、お客さまに応対するオペレータへ適切な文書を提示する知識・言語処理技術を研究開発してきました。昨今、コンタクトセンタだけでなくオフィスにおいても、オペレータ・社員のさらなる生産性向上に関するニーズがあることから、大規模な文書や多様な応対を理解・生成する技術に取り組んでいます。以下に、文書を扱うための言語モデルと、その言語モデルを用いた文書要約技術について説明した後、お客さまとオペレータ間の応対に関する分析技術について述べます。

AI（人工知能）が人間の言葉を理解することはこれまで難しいとされてきました。しかし、2018年10月にGoogleが発表したBERT⁽¹⁾の出現により、自然言語理解の研究開発には大きなパラダイムシフトが発生しました。例えば、機械読解という、テキストの内容を理解して質問に回答する「文章読解力」が求められるタスク⁽²⁾においては、BERTを利用したAIにより人間の回答スコアを大きく上回った例も報告されています。機械読解以外の自然言語処理タスクにおいても性能が大幅に改善しており、言語モデルはAIの言語理解能力の実現に関する基盤技術として注目が集まっています。
言語モデルとは、文章のもっともらしさを推定するモデルです（図1）。例えば、「今日は誕生日なので○○を食べた」という文章の○○の部分については「ケーキ」のほうが「卵」よりも自然と感じる方が多いと思います。また、「今日はいい天気だ」と「洗濯日和だ」の2文が連続して出現するのは自然に感じられるでしょう。BERTは、このような単語の穴埋め問題（単語の予測）と、連続する2文間の関係性判断（次の文であるかの予測）をWikipediaのすべての文章など大量のテキスト集合を基に事前学習しています。こうして得られた言語モデルBERTをベースとして、さまざまなタスク依存のデータセットで学習（Fine-tuning）することにより、テキストをジャンルごとに分類するタスク、質問の回答となるフレーズを抜き出すタスク、などのさまざまな応用タスクに適用でき、さらに応用タスクでの学習データが多く得られない場合においても高い性能を実現できるようになりました。
BERTは自然言語処理の研究分野に大きな衝撃を与え、現在も世界中にて言語モデルの構築・活用の研究が行われています。NTTメディアインテリジェンス研究所では、日本語のテキストデータを大量に収集して日本語のBERTを作成するとともに、言語モデルを文書要約⁽³⁾⁽⁴⁾、文書検索⁽⁵⁾、質問応答⁽⁶⁾⁽⁷⁾などのタスクにおいて活用する技術を研究しています。いずれも単純にBERTを適用するのではなく、これまでの自然言語処理および深層学習の研究により得られた知見を活かすことで、高い性能を実現しています。また、BERTの特性・内部動作について調査⁽⁸⁾することで、BERTの欠点を改善したNTT独自の言語モデルの構築をめざして研究を進めています。…

1. (1)J. Devlin, M. W. Chang, K. Lee, and K. Toutanova: “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，”NAACL-HLT (1), pp. 4171-4186, 2019.
2. (2)西田・斉藤・大塚・西田・野本・浅野：“機械読解による自然言語理解への挑戦，”NTT技術ジャーナル，Vol. 31, No. 7, pp. 12-15，2019.
3. (3)斉藤・西田・西田・大塚・浅野・富田・進藤・松本：“出力長制御と重要箇所の特定を同時に行う生成型要約，”2020年度人工知能学会全国大会，2020．
4. (4)斉藤・西田・西田・浅野・富田：“事前学習済Sequence-to-Sequence モデルと重要度モデルの結合による生成型要約，”言語処理学会第26回年次大会, pp. 4-29, 2020.
5. (5)長谷川・西田・加来・富田：“高速な情報検索に向けた文脈考慮型スパース文書ベクトルの獲得，” 2020年度人工知能学会全国大会, 2020.
6. (6)K. Nishida, K. Nishida, I. Saito, H. Asano, and J. Tomita ：“Unsupervised Domain Adaptation of Language Models for Reading Comprehension，”LREC, pp. 5392-5399, May 2020.
7. (7)西田・西田・斉藤・浅野・富田：“回答の根拠を解釈可能な機械読解，”言語処理学会第26回年次大会, pp. 1-19, 2020.
8. (8)大杉・斉藤・西田・浅野・富田：“マスク化言語モデルと系列長に関する分析，”2020年度人工知能学会全国大会, 2020.