複数人会話理解

複数人の会話を正確に理解できるようになれば、会議の自動議事録生成や、複数人に同時対応できるロボット・AIアシスタントの実現など、社会のさまざまな場面での応用が期待されます。さらに、教育・医療・介護、映像配信といった分野においても、複雑なコミュニケーションの記録・分析や、話者ごとに整理された字幕・翻訳の自動生成が可能になります。こうした日常的な複数人会話を扱うためには、音声処理から話者ダイアライゼーション、会話理解までを統合した技術が不可欠であり、我々が提案する複数人音声認識・会話理解技術は、将来の会話型AIや会話分析技術を支える基盤技術となることが期待されます。

複数人が同時に話す場面で、コンピュータが場の流れを理解するためには、「いつ・誰が・どこから話したか」を正確に推定することが不可欠です。私たちは、その中核となる話者区間推定（話者ダイアライゼーション）技術の研究を進めています。特に、マイクロフォンアレイ処理と音声認識との密な連携により、雑音残響に頑健で、話者の位置や発話方向の違いを活用した高精度な話者ダイアライゼーション技術の開発を進めています。これにより、会話エージェントが発話タイミングを正しく把握して自然に応答したり、要約・翻訳などのAIが発話意図に応じた高度な処理を行えるようになることが期待されます。

多人数の会話では、話している内容だけでなく、声の抑揚や間の取り方、視線や表情といった非言語情報も重要な役割を果たします。しかし、発話が重なり、話題が流動的に変化する複雑な状況の中で、このような複雑な事象を機械が理解することは容易ではありません。私たちは、会話の構造を「個人の発話（内容・話し方・感情など）」「複数人間の会話（やり取りや相互作用）」「複数フロア（同じ場で複数の会話が並行して進む状況）」という階層に分け、各階層で音声・韻律・感情といった言語／非言語情報を統合的に分析する深層学習技術の開発を進めています。これにより、既存の音声LLMでは十分に扱いきれない「発話の受け渡し」や「会話の主導権」といった複数人ならではの構造を、より精密に理解することを目指しています。

飲み会のような騒がしい場から静かな会議室、大規模な講演会場まで、どのような環境でも安定して動作する長時間・多人数音声理解の統合基盤の構築を目指しています。日常の自由な会話では、参加者の入れ替わりや雑音の変動など、環境条件が刻々と変化します。こうした状況下で数時間にわたる会話を途切れずに追跡し続けることは、最新のAI技術にとっても依然として困難な課題です。そのため、話者推定・音声認識・環境適応を個別に扱うのではなく、フロントエンド（音の取得）からバックエンド（内容理解）までを一体化したシステムとして設計する研究を進めています。この統合基盤により、環境の変化に左右されず「誰が・何を話しているか」を長時間にわたって把握できる技術の実現を目指しています。