「マルチモーダル 信号 処理」の検索結果（52件）

c_17.pdf

（＝ 選択的聴取）を持っています。本研究は、そうした人間が持つ選択的聴取の機能を コンピュータ上で実現することをめざしたものです。 音声情報に加え、映像情報を手がかりとして利用する、マルチモーダル選択的聴取

https://www.rd.ntt/cs/event/openhouse/2020/download/c_17.pdf

b_1_1.pdf

会話の流れが一目瞭然！ 実時間会議モニタリング －リアルタイム & マルチモーダル対話シーン分析－ 人間同士の自然なコミュニケーションを自 動認識する研究です．会議において「いつ誰 が誰に話し

https://www.rd.ntt/cs/event/openhouse/2009/theme/b1/doc/b_1_1.pdf

research-talk1.pdf

？ who 誰が？ whom 誰と？ + 本システムの構成と特徴 リアルタイム動作する 多人数マルチモーダル会話シーン分析システムは世界初!! 全方位カメラ マイクシ 顔画像追跡による 顔の位置・方向推定

https://www.rd.ntt/cs/event/openhouse/2009/talk/research1/research-talk1.pdf

NTT コミュニケーション科学基礎研究所 オープンハウス2020

ィアの科学 17 聞きたい人の声に耳を傾けるコンピュータ（Ⅱ） 音声と映像を手がかりとしたマルチモーダル選択的聴取 どんな研究 人間は、複数の人が同時に話している状況においても、聞きたい人の声に集中し、聞き

https://www.rd.ntt/cs/event/openhouse/2020/exhibition17/

b_1.pdf

6W1Hの うちの5W（いつどこで誰が誰に何を話している か？）を推定します．更にこれらの分かりやすい 表示に基づく会議収録データの利用例を示します． ①リアルタイム&マルチモーダル対話シーン分析 ②

https://www.rd.ntt/cs/event/openhouse/2009/theme/b1/doc/b_1.pdf

石井 亮 | NTT R&D Website

インタラクション、マルチモーダル機械学習、社会的信号処理 業績の詳細はこちら 関連するコンテンツ

https://www.rd.ntt/organization/researcher/special/s_060.html

主要な研究トピック｜NTTコミュニケーション科学基礎研究所｜NTT R&D Website

トピック 人間情報科学 「聞く」と「話す」の密接な関係 マルチモーダル情報による人物行動認識 質感を見極める視覚のしくみ 触れて感じるメカニズム 視覚が生み出す力 ぶるなび スポーツ脳科学 メディア処理

https://www.rd.ntt/cs/research_topic/

高村 誠之 | NTT R&D Website

、マルチモーダル信号処理、情報圧縮、データオーガナイズ 関連するコンテンツ

https://www.rd.ntt/organization/researcher/superior/s_008.html

見返りを期待せず、頼まれごとは断らない。損得勘定なしで臨めば、未来が切り拓かれる｜NTT R&D Website

であればグラフ信号処理＊2（図4）という枠組みの研究が活発になされていますが、それをマルチモーダル信号へと発展させていくのが課題です。 そして、データの生成源であるセンサのところも、観察対象実体に対してあま

https://www.rd.ntt/research/JN202102_10402.html

panel_hori.pdf

，荒木，石塚，藤本，大和：「多人数会話シーン分析に向けた実時間マルチモーダルシ ステムの構築」，信学技法MVE2008-68，pp．55-62，2008 ・大塚，荒木：「会話シーン分析のための音声映像技術

https://www.rd.ntt/cs/event/openhouse/2010/theme/a3/panel_hori.pdf

波動伝搬研究部｜NTT未来ねっと研究所｜NTT R&D Website

に取り組んでいます。 また、光デバイスを応用した新たな無線信号処理による光マトリクス無線ビームフォーミングや空間中で電波の波動を制御するマルチシェイプ波動制御、マルチモーダルな無線環境情報に基づく無線通信

https://www.rd.ntt/mirai/organization/product_3/

感性コミュニケーション | NTT R&D Website

, “マルチモーダル情報に基づくスピーチスキルの推定と向上支援,” 情報処理学会シンポジウム論文集, マルチメディア, 分散, 協調とモバイル, pp.1646–1655 (DICOMO ’25), 2025

https://www.rd.ntt/dtc/gc1/

oh09_pamphlet.pdf

ピュータビジョン・画像処理の研究に従 事．近年，マルチモーダル情報統合による人と人とのコミュニケーションシーンのモデル化・認識の研究を立 ち上げる．情報処理学会 第55回全国大会優秀賞，2007年 ACM 9

https://www.rd.ntt/cs/event/openhouse/2009/oh09_pamphlet.pdf

生成AI時代におけるコミュニケーション科学研究の新展開――人間と情報の本質探求と人に寄り添う技術の協創に向けて | NTT R&D Website

スとして構築されており、映像や音声などのマルチモーダルな入力情報はLLMの入力形式に適合するようにトークン化されて処理しています。一方、人間は言葉を用いる以前からあらゆる感覚情報を脳内で処理して物事や概念を理解

https://www.rd.ntt/research/JN202409_29257.html

miraisouron3_otsuka.pdf

ュニケーションシーン理解のタスク 5 (C)2008 NTT Communication Science Labs. 今回展示のデモシステムの概要 • 1）マルチモーダル・シーン分析 – 「誰がいつ話し

https://www.rd.ntt/cs/event/openhouse/2008/miraisoron3/doc/miraisouron3_otsuka.pdf

特定分野の専門知識を持った高性能で低消費エネルギーのLLM、tsuzumi | NTT R&D Website

ワードは「日本語」「小型軽量」「柔軟なチューニング」「マルチモーダル」 tsuzumiはどのようなLLMでしょうか。 何でもできる汎用的なLLMに向けて大規模化が世界の潮流にある一方で、エネルギー問題が課題

https://www.rd.ntt/research/JN202406_26659.html

ウェルネスセンシング研究グループ｜NTT先端集積デバイス研究所｜NTT R&D Website

できるセンサ素子を搭載可能な構造設計とインタフェース設計を備え、今後の用途拡張やマルチモーダルセンシング（複合的センシング）へ柔軟に対応します。 試作したフレキシブル心電センサと計測データ例 ・何

https://www.rd.ntt/dtl/technology/wellness_sensing_research_group_ntt_device_technology_laboratories_ntt_rd_website.html

NTT コミュニケーション科学基礎研究所 オープンハウス×未来想論 2008 プログラム

-Room） 会話の時空間足跡（M-room + t-Room) 実世界コミュニケーションシーンを理解する 音声映像技術 会話の流れを分析する音声技術と映像技術の調和 マルチモーダル会話シーン分析 動画像上

https://www.rd.ntt/cs/event/openhouse/2008/program.html

聞きたい人の声に耳を傾けるAI ――深層学習に基づく音声の選択的聴取技術SpeakerBeam｜NTT R&D Website

について実験結果を示しながら説明します。次に、この問題を回避する方法の1つとして、マルチモーダル（Multimodal:MM）SpeakerBeamを紹介します。最後に、目的話者抽出技術の他の音声処理タス

https://www.rd.ntt/research/JN202107_14481.html

聴きたい音を聴く―選択的聴取｜NTTコミュニケーション科学基礎研究所｜NTT R&D Website

を手がかりとしたマルチモーダル選択的聴取 https://www.kecl.ntt.co.jp/openhouse/2020/exhibition17/index.html 多ストリーム拡散モデルのアン

https://www.rd.ntt/cs/team_project/media/signal/research_signal02.html

人と情報の本質を究め、人と情報をつなぐ ――未知なる真理の探究と学際的研究により持続可能な未来を切り拓くコミュニケーション科学 | NTT R&D Website

ちや立場を考慮した適切な対話をすることはまだ困難です。本特集記事『気の利く対話AIのための「空気を読む」技術──マルチモーダル情報を用いた対話の場・関係の理解とインクリメンタル応答生成（8）』では、人間

https://www.rd.ntt/research/JN202508_35368.html

幅広い領域をカバーし新たな通信パラダイムを切り拓く研究開発 | NTT R&D Website

ュニケーションの実現に向け、物理空間の構成情報をリアルタイムで低遅延に伝送するナチュラルメディア処理技術、センシング・AI（人工知能）等により、通信品質・環境を予測し、設定・制御・管理するマルチモーダル無線環境把握

https://www.rd.ntt/research/JN202205_18109.html

NTT コミュニケーション科学基礎研究所 オープンハウス×未来想論 2008 未来想論 コミュニケーションを理解する - 分析手法、技術、未来へのビジョン -

科学。マルチモーダルインタフェース、コンピュ ータビジョン、会話シーン分析の研究に従事。2007年 ACM 9th International Conference on Multimodal

https://www.rd.ntt/cs/event/openhouse/2008/miraisoron3/

poster_list.pdf

～形式手法の量子情報処理への応用～ 50 コミュニケーションシーンのマルチモーダル分析と会話場再構成 ～人と人との会話を識り，伝える技術～ 51 再生可能エネルギーをつくるために ～人工光合成と藻類固定

https://www.rd.ntt/brl/event/sp2012/poster/poster_list.pdf

120905_SP_poster_B2.ai

暗号の安全性証明 コミュニケーションシーンのマルチモーダル分析と会話場再構成 形式手法の量子情報処理への応用 人と人との会話を識り，伝える技術 情報と人間を結ぶコミュニケーション科学 51 52 再生

https://www.rd.ntt/brl/event/sp2012/files/B2_poster.pdf

音の聴き方を自ら学ぶAI――自己教師あり学習によるさまざまな音の汎用表現学習技術から、大規模言語モデルを活用した音の理解の最前線へ | NTT R&D Website

ルビーイングへ――身体を介した共感メカニズムの解明および身体性情報伝送技術を活用した離れた家族のつながり支援 気の利く対話AIのための「空気を読む」技術――マルチモーダル情報を用いた対話の場・関係の理解とイン

https://www.rd.ntt/research/JN202508_35362.html

NTT コミュニケーション科学基礎研究所 オープンハウス×未来想論 2008 テーマ展示　脳のメカニズム解明とインタフェースへの応用 - 視覚、聴覚、触覚、力覚、運動とそれらのインタラクション -

します。 人間の時間知覚の研究 我々が五官を通じて知覚する世界は絶えず変化している。人間の脳は時間情報をどのように処理しているのだろうか。これは、現在の神経科学の中心テーマの一つであるとともに、マルチモーダル情報

https://www.rd.ntt/cs/event/openhouse/2008/brain/

ニューラルネットワークを活用し、コンピュータでも人間のように音声の選択的聴取を可能にする | NTT R&D Website

くなります。その打開策として、録音した音声データだけではなく撮影した動画データも利用し、唇の動きも手掛かりにするマルチモーダルバージョンも提案しています。これにより似たような音声が混ざっている場合でも抽出したい話者の声

https://www.rd.ntt/research/JN202506_34173.html

120905_SP_invitation_printer.ai

証明 コミュニケーションシーンのマルチモーダル分析と会話場再構成 形式手法の量子情報処理への応用 人と人との会話を識り，伝える技術 低炭素社会実現に向けたグリーン ICT 51 52 再生可能エネルギー

https://www.rd.ntt/brl/event/sp2012/files/handout.pdf

サイエンスプラザ２０１２ － ポスター展示 － NTT物性科学基礎研究所 －

部 > コミュニケーション環境研究グループ 50 コミュニケーションシーンのマルチモーダル分析と会話場再構成 ～人と人との会話を識り，伝える技術～ PDF / IMAGE 大塚 和弘・熊野 史朗・松田

https://www.rd.ntt/brl/event/sp2012/poster.html

変化する現在（いま）に適応し、持続する未来（あす）を切り拓くコミュニケーション科学 ――人・社会・環境との調和と共生をもたらす技術の創出 | NTT R&D Website

する「マルチモーダルSpeakerBeam」（3）を提案しました。本技術により、声質が似通った複数話者が存在する場合には唇の動きを主な手掛かりとし、逆に唇の映像が得られない場合には音声を主な手掛

https://www.rd.ntt/research/JN202208_19139.html

クロスモーダル表現学習技術によりバイオデジタルツインの実現をめざす | NTT R&D Website

や仮定を置いたうえで細胞塊をつなぎ合わせて、臓器としてのパフォーマンスを推計することができる可能性があります。これは、治療法の選択などに向けて大きな一歩になるのではないかと思います。 このほか、多チャネルマルチモーダル

https://www.rd.ntt/research/JN202407_27025.html

人や群衆の心の動きを推定・制御する情動的知覚制御技術 | NTT R&D Website

から情動体験を高める取り組みとして、自宅などのオンライン視聴環境では多くの場合、現地会場のように大声での声援や体を大きく動かすアクションを行いにくい点に着目し、マルチモーダルなフィードバック刺激を付加

https://www.rd.ntt/research/JN202209_19530.html

ヒトと社会のデジタル化世界を創造するデジタルツインコンピューティング構想の実現へ向けた研究開発｜NTT R&D Website

ュレートする大規模マルチモーダル技術、②環境や経済システムのシステム間連成を考慮し地球規模で設計するモデリング技術、③自律平衡性の重要指標とそれらの局所解を求める手法やシナリオごとの指標値群の評価手法の研究開発

https://www.rd.ntt/research/JN202110_15612.html

光・無線の融合が導く次世代ネットワーク・コンピューティング基盤の革新 | NTT R&D Website

が通信品質に影響を与えます。そこで、無線・物理空間等を組み合わせたマルチモーダルな無線環境情報を収集し、仮想空間上で分析・予測を行い、ユーザの求める未来の状態にもっとも近い未来環境を選択し、現実世界

https://www.rd.ntt/research/JN202512_37493.html

R&Dフォーラム — Road to IOWN 2021｜展示一覧｜ NTT R&D Website

ットと雑談を楽しめます C07 次世代メディア処理AI「MediaGnosis™」 マルチモーダル情報をリアルタイムかつ統合的に理解します C08 分散学習によるシグナルフリーモビリティ 車同士の通信でリア

https://www.rd.ntt/forum/2021/exhibits.html

oh08_pamphlet.pdf

の調和－ • マルチモーダル会話シーン分析 • 動画像上での高速顔方向追跡 • 雑音に頑健な音声区間検出　－いつ発話があったかを知る技術－ • 実世界の音響シーンにおける収録音声からの残響と雑音の除去 A

https://www.rd.ntt/cs/event/openhouse/2008/doc/oh08_pamphlet.pdf

書籍出版物｜NTTコミュニケーション科学基礎研究所｜NTT R&D Website

）。翻訳を当研究所の小林が担当。文庫版では、原著第二版で新たに執筆された最終章も追加され、数覚研究の最新動向を把握可能。 「Pythonと大規模言語モデルで作るリアルタイムマルチモーダル対話システム (エン

https://www.rd.ntt/cs/overview/publications.html

openrd_j.pdf

辰彦、小岩 正明、奥村 幸彦) マルチモーダル対話の機序のモデル化と対話支援の研究 (石井 亮) IEEE Photonics Society IEEE Photonics Society 2023

https://www.rd.ntt/about/openrd/2024/openrd_j.pdf

主な表彰一覧 | NTT R&D Website

2023年度の表彰 文部科学大臣表彰 若手科学者賞 マルチモーダル対話の機序のモデル化と対話支援の研究 人間情報研究所石井 亮 通信文化協会 前島密賞 60GHz帯ミリ波大容量無線伝送の高速移動体適用技術

https://www.rd.ntt/award.html

『NTT R&D FORUM — Road to IOWN 2022』｜NTT R&D Website

Evolutionマルチモーダル発話検知技術 カメラで取得した口の動きを利用した発話の先読みでマイクのミュート制御をします A-E06IOWN Evolution高精細映像AI推論PoCシステム 広範囲の物体を1台

https://www.rd.ntt/forum/2022/exhibit.html

OH2010.pdf

ン分析に向けた実時間マルチモーダルシ ステムの構築」，信学技法MVE2008-68，pp．55-62，2008 ・大塚，荒木：「会話シーン分析のための音声映像技術」，NTT技術ジャーナル， May

https://www.rd.ntt/cs/event/openhouse/2010/OH2010.pdf

一般企業出展社一覧 | 展示ご案内 | つくばフォーラム2026

します。 株式会社　日立製作所  センシングなどによる効率的なデータ収集・蓄積、マルチモーダル生成AI、フィジカルAIなどによるデータ利活用により、設備・インフラの保守・運用業務を自律的に支援し、省力化を実現

https://www.rd.ntt/as/tforum/companylist_other.html

映像符号化のスペシャリストとしてミクロな光電子情報に基づく究極の映像システムをめざす | NTT R&D Website

く究極の映像システムをめざす 画像・映像の容量を効果的に圧縮する符号化技術は、昨今のマルチモーダルで膨大な情報を効率良く伝送させなくてはならない世の中で、最先端の研究領域へと発展しました。NTTコン

https://www.rd.ntt/research/JN202606_39534.html

展示一覧｜NTT R&D FORUM 2023 — IOWN ACCELERATION　開催報告

言語モデル「tsuzumi」実世界を統合的に理解する「tsuzumi」 マルチモーダル基盤モデルにより、会議支援や状況把握、性格推定など複合的なAIサービスを実現します リーフレット P04大規模言語

https://www.rd.ntt/forum/2023/exhibit.html

人と地球にやさしい社会インフラで実現する＂Social Well-being＂ | NTT R&D Website

ーニングができます。そして特長4はマルチモーダル性です。テキストデータだけではなく、いろいろな図表も含めて学べる点が特長になっています。「軽量＝高いコストパフォーマンス」は、ChatGPT-3.5の25分の1で学習できて、結果的

https://www.rd.ntt/research/JN202408_28836.html

三総研2016　1102版.indd

™」（※3）を構成する4種のAIの一つで、音声・言語・画像メディアから、人の 意図や感情を理解し、ロボットや仮想エージェントによる身振り手振りも交えたマルチモーダルインタラクション（※4） を通じて、人

https://www.rd.ntt/environment/pdf/rep2016.pdf

OH2020冊子

方式 BRAVE ・・・・・ 30 聞きたい人の声に耳を傾けるコンピュータ（Ⅱ） 音声と映像を手がかりとしたマルチモーダル選択的聴取 ・・・・ 31 顔で声の表情を制御する クロスモーダル音声表情変換

https://www.rd.ntt/cs/event/openhouse/2020/download/2020_booklet.pdf

NTT R&D FORUM 2023 — IOWN ACCELERATION　開催報告

性能（特に日本語）が高い、③柔軟なカスタマイズ、④マルチモーダル」。それぞれを可能にしている技術とその裏付けも含め詳しく紹介しながら、その抜き出た性能の高さをアピールしました。 またIOWNとの相互作用

https://www.rd.ntt/forum/2023/

更新情報 | NTT R&D Website

のように考え、人間のように知識を蓄積できるマルチモーダル基盤モデル「MediaGnosis（メディアグノシス）」 2024/10/31 「NTT IOWN Technology Report 2024

https://www.rd.ntt/update_information/

NTT R&D FORUM 2025 開催報告 | NTT R&D Website

です。 一方、現行のLLM/VLMといったAIは汎用的なAIではありますが、専門性の高いドメイン知識はあまり持っていないため、通信機器の故障判定業務に特化したAIが必要になります。NTTでは、マルチモーダル入力が可能

https://www.rd.ntt/forum/2025/

LLMInjectionTaxonomy_v1_20241225.pdf

ルとした。よって、本文書では、LLMの訓練過程とその計 算基盤への攻撃やマルチモーダル性を悪用する攻撃、LLMアプリの仕様に関する 議論は対象外とする。それぞれの範囲について、具体的には以下の通りとなる。 LLMの訓練

https://www.rd.ntt/sil/project/LLMInjectionTaxonomy/LLMInjectionTaxonomy_v1_20241225.pdf