自然言語処理

技術カテゴリ紹介

NTTでは40年以上に渡って、対話・質問応答・文書要約・翻訳・情報検索など、人間が使う自然言語をコンピュータに理解・生成させるための技術の最前線で研究開発に取り組んで来ています。近年では、大量のテキストコーパスから学習されたニューラルネットワークである大規模言語モデルを用いた技術の発展に注力しています。さらには、「Vision-and-Language」と呼ばれる視覚と言語の融合理解をはじめ、言語を軸としたマルチモーダル理解・生成についても積極的に取り組んでいます。人間研ではこれらの取組を通じて、AIが人をとりまく世界を理解し人と相互に成長し合うような共生社会の実現をめざしています。

研究紹介

  1. 自然言語理解・生成技術
  2. マルチモーダル理解・生成技術

文献リスト

2023

国際会議

  1. Kosuke Nishida, Naoki Yoshinaga (Tokyo Univ.) and Kyosuke Nishida, "Self-Adaptive Named Entity Recognition by Retrieving Unstructured Knowledge", in Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2023), accepted, May 2023. [arxiv]
  2. Ryota Tanaka, Kyosuke Nishida, Kosuke Nishida, Taku Hasegawa, Itsumi Saito, Kuniko Saito, "SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images", in Proceedings of the 37th AAAI Conference on Artificial Intelligence (AAAI 2023, 1721/8777=19.6%), accepted (full paper), February 2023. [arxiv]

招待・チュートリアル講演

  1. 西田京介, 壹岐太一, “Collaborative AI: 視覚・言語・行動の融合”, 第13回 Language and Robotics研究会, 2023年5月.(スライドあり)
  2. 西田京介, 西田光甫, 田中涼太, 斉藤いつみ, “NLPとVision-and-Languageの基礎・最新動向”, 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル, 2023年3月.
  3. 西田京介, “自然言語処理とVision-and-Languageの最新動向”, 東北大学主催 第9回 医学AIセミナー 特別レクチャー, 2023年2月.
  4.                              

表彰

  1. 言語処理学会第29回年次大会(NLP2023) 優秀賞:田中涼太, 西田京介, 西田光甫, 長谷川拓, 斉藤いつみ, 齋藤邦子, “SlideVQA: 複数の文書画像に対する質問応答”
  2. 言語処理学会第29回年次大会(NLP2023) 言語資源賞:田中涼太, 西田京介, 西田光甫, 長谷川拓, 斉藤いつみ, 齋藤邦子, “SlideVQA: 複数の文書画像に対する質問応答”
  3. 言語処理学会第29回年次大会(NLP2023) 委員特別賞:西田光甫, 西田京介, 斉藤いつみ, 齋藤邦子, “InstructSum: 自然言語の指示による要約の生成制御”
  4.                              
  5. 言語処理学会第29回年次大会(NLP2023) 委員特別賞 (equal contribution):西田京介, 長谷川拓, 前田航希, 齋藤邦子, “DueT: 視覚・言語のDual-adapter Tuningによる基盤モデル”

2022

国際会議

  1. Yasuhito Ohsugi, Itsumi Saito, Kyosuke Nishida and Sen Yoshida, "Japanese ASR-Robust Pre-trained Language Model with Pseudo-Error Sentences Generated by Grapheme-Phoneme Conversion", in Proceedings of the 2022 Conference of the International Speech Communication Association (INTERSPEECH 2022), pp. 2688-2692, September 2022.
  2. Fumio Nihei, Ryo Ishii, Yukiko Nakano, Kyosuke Nishida, Ryo Masumura, Atsushi Fukayama and Takao Nakamura, "Dialogue Acts Aided Important Utterance Detection Based on multiparty and multimodal information", in Proceedings of the 2022 Conference of the International Speech Communication Association (INTERSPEECH 2022), pp. 1086-1090, September 2022.
  3. Kosuke Nishida, Kyosuke Nishida, Shuichi Nishioka, "Improving Few-Shot Image Classification Using Machine- and User-Generated Natural Language Descriptions", in Proceedings of the 2022 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2022) (findings), pp. 1421-1430, July 2022. [arxiv]
  4. Shumpei Miyawaki (Tohoku Univ.), Taku Hasegawa, Kyosuke Nishida, Takuma Kato (Tohoku Univ.), Jun Suzuki (Tohoku Univ.), "Scene-Text Aware Image and Text Retrieval with Dual-Encoder", in Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop (ACL SRW 2022), pp. 422-433, May 2022.

招待・チュートリアル講演

  1. 西田京介, “視覚と言語に基づく文書理解”, 第42回医療情報学連合大会, 2022年11月.
  2. 西田京介, “深層学習による自然言語処理技術の最新動向とビジネスへの利用例”, 東京大学 総合分析情報学特論, 2022年10月.
  3. 西田京介, “自然言語処理とVision-and-Language”, 2022年度 人工知能学会全国大会(第36回)チュートリアル, 2022年6月.
  4.                              
  5. 田中涼太, "文書画像に対する質問応答技術の最新動向」第2回 AI王 〜クイズAI日本一決定戦〜 , 2022年2月.

表彰

  1. 言語処理学会第28回年次大会(NLP2022) 優秀賞:西田光甫, 西田京介, 西岡秀一, "機械・人の双方が言語で概念を説明可能なFew-shot 画像分類"
  2. 言語処理学会第28回年次大会(NLP2022) 若手奨励賞:田中涼太 "テキストと視覚的に表現された情報の融合理解に基づくインフォグラフィック質問応答"

2021

論文

  1. 鈴木潤(東北大), 松田耕史(東北大), 鈴木正敏(東北大), 加藤拓真(東北大), 宮脇峻平(東北大), 西田京介, "ライブコンペティション:「AI 王~クイズ AI 日本一決定戦~」", 自然言語処理, 2021 年 28 巻 3 号 p. 888-894, September 2021.
  2. 西田京介, "身近になった対話システム:2.機械読解による自然言語理解", 情報処理, 62(10), e7-e11, September 2021.

国際会議

  1. Kosuke Nishida, Kyosuke Nishida, Sen Yoshida, "Task-adaptive Pre-training of Language Models with Word Embedding Regularization", in Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021) (findings), pp. 4546-4553, August 2021. [arxiv]
  2. Kosuke Nishida, Kyosuke Nishida, Itsumi Saito, Sen Yoshida: "Towards Interpretable and Reliable Reading Comprehension: A Pipeline Model with Unanswerability Prediction." in Proceddings of the 2021 International Joint Conference on Neural Networks ( IJCNN 2021), pp. 1-8, July 2021. [arxiv]
  3. Ryota Tanaka(*), Kyosuke Nishida(*), Sen Yoshida, "VisualMRC: Machine Reading Comprehension on Document Images", in Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI 2021), pp. 13878-13888, a Virtual Conference, February 2021. (*: equal contribution) (full paper, 1696/7911=21.4%) [arxiv] [project]

招待・チュートリアル講演

  1. 西田京介, “深層学習による自然言語処理技術の最新動向とビジネスへの利用例”, 東京大学 総合分析情報学特論, 2021年10月.
  2. 西田京介, “視覚と言語の統合的理解に基づく文書理解と質問応答”, 第48回産業総合研究所人工知能セミナー, 2021年9月.
  3. 西田京介, “人とAIの共生に向けた視覚と言語の融合理解”, NVIDIA AI DAYS, 2021年6月.
  4.                              
  5. 西田京介, “言語と視覚に基づく質問応答の最新動向”, 言語処理学会第27回年次大会ワークショップ AI王 〜クイズAI日本一決定戦〜, 2021年3月.
  6. 西田京介, “自然言語処理とビジョン&ランゲージへの派生”, 日本ロボット学会 ロボット学会セミナー第132回, 2021年2月.

表彰

  1. ICDAR 2021 Competition on Document Visual Question Answering, Task 3 Infographics VQA, runners-up:Ryota Tanaka and Kyosuke Nishida
  2. 2021年度人工知能学会全国大会(JSAI2021) 優秀賞:加来宗一郎, 西田京介, 吉田仙, "BERTにおけるWeightとActivationの3値化の検討"
  3. 言語処理学会第27回年次大会(NLP2021) 最優秀賞 (equal contribution):田中涼太(*), 西田京介(*), 吉田仙, "VisualMRC: 文書画像に対する機械読解"

2020

論文

  1. 大塚淳史, 西田京介, 斉藤いつみ, 西田光甫, 浅野久子, 富田準二 ,"問い返し可能な質問応答:読解と質問生成の同時学習モデル", 日本データベース学会和文論文誌, Vol. 18-J, No. 16, March 2020.

国際会議

  1. Diana Galvan-Sosa (Tohoku Univ.), Jun Suzuki (Tohoku Univ.), Kyosuke Nishida, Koji Matsuda (Tohoku Univ.) and Kentaro Inui (Tohoku Univ.): Seeing the world through text: Evaluating image descriptions for commonsense reasoning in machine reading comprehension, in Proceedings of the Second Workshop on Beyond Vision and LANguage: inTEgrating Real-world kNowledge (LANTERN 2020; in conjunction with COLING 2020), December 2020.
  2. Yuma Koizumi, Ryo Masumura, Kyosuke Nishida, Masahiro Yasuda and Shoichiro Saito, "A Transformer-based Audio Captioning Model with Keyword Estimation", in Proceedings of the 21st Annual Conference of the International Speech Communication Association (INTERSPEECH 2020), October 2020. [arxiv]
  3. Kosuke Nishida, Kyosuke Nishida, Itsumi Saito, Hisako Asano and Junji Tomita, "Unsupervised Domain Adaptation of Language Models for Reading Comprehension", in Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC 2020), pp. 5392-5399, May 2020. [arxiv]

招待・チュートリアル講演

  1. 西田京介, “深層学習による自然言語処理技術の最新動向とビジネスへの利用例”, 東京大学 総合分析情報学特論, 2020年10月.
  2. 斉藤いつみ, "ニューラルネットワークを用いた自然言語処理の応用:要約・機械読解モデルの紹介", 2020年10月
  3. 西田京介, “事前学習済言語モデルの動向と展望”, 産総研・東工大実社会ビッグデータ活用オープンイノベーションラボラトリ, 2020年2月.

表彰

  1. 2020年度人工知能学会全国大会(JSAI2020) 優秀賞:斉藤いつみ, 西田京介, 西田光甫, 大塚淳史, 浅野久子, 富田準二, 進藤裕之, 松本裕治, "出力長制御と重要箇所の特定を同時に行う生成型要約"
  2. 2020年度人工知能学会全国大会(JSAI2020) 優秀賞:長谷川拓, 西田京介, 加来宗一郎, 富田準二, "高速な情報検索に向けた文脈考慮型スパース文書ベクトルの獲得"
  3. 言語処理学会第26回年次大会(NLP2020) 若手奨励賞:西田光甫, 西田京介, 斉藤いつみ, 浅野久子, 富田準二, "回答の根拠を解釈可能な機械読解"
  4. 言語処理学会第26回年次大会(NLP2020) 優秀賞:Diana Galvan-Sosa(東北大), 西田京介, 松田耕史(東北大), 鈴木潤(東北大), 乾健太郎(東北大), "テキストを通して世界を見る:機械読解における常識的推論のための画像説明文の評価"

2019

論文

  1. 大塚淳史, 西田京介, 斉藤いつみ, 浅野久子, 富田準二, 佐藤哲司 ,"質問意図の明確化に着目した機械読解による質問応答手法の提案", 人工知能学会論文誌, Vol. 34, No. 5, p. A-J14_1-12, September 2019.
  2. 大塚淳史, 西田京介, 斉藤いつみ, 浅野久子, 富田準二, "質問の意図を特定するニューラル質問生成モデル", 日本データベース学会和文論文誌, Vol. 17-J, No. 6, March 2019. 2018年度日本データベース学会論文賞

国際会議

  1. Ryo Masumura, Mana Ihori, Tomohiro Tanaka, Itsumi Saito, Kyosuke Nishida, and Takanobu Oba, "Generalized Large-Context Language Models based on Forward-Backward Hierarchical Encoder-Decoder Models", in Proceedings of the 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU 2019), pp.554-561, December 2019.
  2. Kyosuke Nishida, Itsumi Saito, Kosuke Nishida, Kazutoshi Shinoda (Tokyo Univ.), Atsushi Otsuka, Hisako Asano and Junji Tomita, "Multi-style Generative Reading Comprehension", in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp.2273-2284, July 2019. [arXiv] (long paper, 660/2905=22.7%)
  3. Kosuke Nishida, Kyosuke Nishida, Masaaki Nagata, Itsumi Saito, Atushi Otuka, Hisako Asano and Junji Tomita, "Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction", in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp.2273-2284, 2335-2345, July 2019. [arXiv] (long paper, 660/2905=22.7%)
  4. Yasuhito Ohsugi, Itsumi Saito, Kyosuke Nishida, Hisako Asano, and Junji Tomita, "A Simple but Effective Method to Incorporate Multi-turn Context with BERT for Conversational Machine Comprehension", in Proceedings of 1st Workshop on NLP for Conversational AI (NLP4ConvAI 2019; in conjunction with ACL 2019), Florence, Italy, July 2019. [arXiv]
  5. Atsushi Otsuka, Kyosuke Nishida, Itsumi Saito, Hisako Asano and Junji Tomita, "Specific Question Generation for Reading Comprehension", in Proceedings of the AAAI 2019 Reasoning for Complex QA (RCQA) Workshop, Honolulu, Hawaii, USA, January 2019.

招待・チュートリアル講演

  1. 西田京介, “機械読解と自然言語理解”, お茶の水女子大学 理学総論, 2019年11月.
  2. 西田京介, “ACL’19参加報告と事前学習言語モデルの動向 “, xpaper.challenge, 2019年11月.
  3. 西田京介, “深層学習による自然言語処理技術の最新動向とビジネスへの利用例”, 東京大学 総合分析情報学特論, 2019年10月.
  4. 西田京介, “自然言語生成による機械読解”, WebDB Forum 2019 先端研究解説セッション, 2019年9月.
  5. 西田京介, “機械読解の現状と展望”, 言語処理学会第25回年次大会 チュートリアル, 2019年3月.
  6. 西田京介, “機械読解技術の最新動向と実用化へ向けた展望”, 東北大学乾・鈴木研究室 みちのく情報伝達学セミナー, 2019年1月.

表彰

  1. 2018年度日本データベース学会論文賞 ;大塚淳史, 西田京介, 斉藤いつみ, 浅野久子, 富田準二, "質問の意図を特定するニューラル質問生成モデル"
  2. 言語処理学会第25回年次大会(NLP2019) 優秀賞: 西田京介, 斉藤いつみ, 西田光甫, 篠田一聡, 大塚淳史, 浅野久子, 富田準二, "回答スタイルを制御可能な生成型機械読解"
  3. 言語処理学会第25回年次大会(NLP2019) 最優秀ポスター賞:斉藤いつみ, 西田京介, 大塚淳史, 西田光甫, 浅野久子, 富田準二, "クエリ・出力長を考慮可能な文書要約モデル
  4. 第11回データ工学と情報マネジメントに関するフォーラム(DEIM2019) 優秀インタラクティブ賞 :大塚淳史, 西田京介, 斉藤いつみ, 西田光甫, 浅野久子, 富田準二, "問い返し可能な質問応答:読解と質問生成の同時学習モデル"