NTT版大規模言語モデル「tsuzumi」NTT人間情報研究所

大規模言語モデルが登場し、自然言語の指示による、質問応答や要約・文章生成など様々な対話型AIの活用に期待が高まっています。NTT研究所では、NTT独自の軽量小型で高性能な大規模言語モデル「tsuzumi」の研究開発に取り組んでいます。

昨今、ChatGPTに代表される大規模言語モデル（LLM）と、これを活用するAIサービスが大きな話題となっています。これらは膨大な知識を巨大なモデル内に有することで高い性能を示す一方、利用には大規模GPUクラスタを必要とし、チューニングなどの運用コストが高いという課題がありました。NTT研究所では40年以上の自然言語処理研究の蓄積およびAI分野の研究力を活かし、軽量でありながら世界トップレベルの日本語処理性能を持つLLM「tsuzumi」を開発しました。

• NTT研究所がこれまで収集してきた大量の良質なテキストコーパス（ブログ、新聞記事、QAサイト、企業系Webページなど）をもとに、特に日本語に対応する高精度なモデルを構築しました。パラメータ数6億の超軽量版、70億の軽量版というモデルサイズでも日本語処理性能は世界トップレベルを実現しています。
• 軽量小型のモデルに対して追加で知識を学習するアダプタチューニングを適用し、特定業界や組織に特化することで様々な利用用途に柔軟に対応します。
• 軽量小型のモデルにより、クラウド利用だけではなく、オンプレミス（on-premises）の利用も可能です。

• コンタクトセンタや社内サポートデスクにおける問い合わせ回答支援、情報検索。
• ドキュメントからの情報抽出、構造化、要約、翻訳。
• 提案書や申請書などのドキュメント生成。

大規模言語モデル（LLM）
Large Language Models：大量のテキストデータを使って学習された言語モデルで、言語の理解や文章の生成に優れた能力をもつもの。
アダプタチューニング
BERTモデルについて長いテキストの長期にわたる文脈を理解可能にしたモデル（2020年発表）
MASS
事前学習済みモデルの外部に追加されるサブモジュール。ファインチューニングの際に事前学習済みモデルのパラメータを固定したままアダプタのパラメータのみを更新することで、計算コストの高いベースモデルの再学習を行わずに知識を学習できる。
マルチモーダル
AIへの入力情報の種類（テキスト、画像、音声など）をモーダルと言い、これらの異なる入力情報を組み合わせて使う能力をもった人工知能の特性を指す言葉。

人間情報研究所　思考処理研究プロジェクト