音声・言語・身体動作を複合的に扱い対話の仕組みを解明。「マルチモーダルインタラクション」の研究|NTT R&D Website
に連携しながらマルチモーダルインタラクションに関連するさまざまな研究を行っています。 現在の課題は何でしょうか。 昨今、盛んに研究・利用されている機械学習技術を、マルチモーダルインタラクションの分野に適用
https://www.rd.ntt/research/RDNTT20210901.html
主要な研究トピック|NTTコミュニケーション科学基礎研究所|NTT R&D Website
トピック 人間情報科学 「聞く」と「話す」の密接な関係 マルチモーダル情報による人物行動認識 質感を見極める視覚のしくみ 触れて感じるメカニズム 視覚が生み出す力 ぶるなび スポーツ脳科学 メディア処理
https://www.rd.ntt/cs/research_topic/
石井 亮 | NTT R&D Website
インタラクション、マルチモーダル機械学習、社会的信号処理 業績の詳細はこちら 関連するコンテンツ
https://www.rd.ntt/organization/researcher/special/s_060.html
NTT コミュニケーション科学基礎研究所 オープンハウス2020 研究展示
BRAVE 聞きたい人の声に耳を傾けるコンピュータ(Ⅱ) 音声と映像を手がかりとしたマルチモーダル選択的聴取 顔で声の表情を制御する クロスモーダル音声表情変換 探し方を学びながら探す 適応的スポッティング法
https://www.rd.ntt/cs/event/openhouse/2020/exhibition.html
重点募集中の職種 | NTT R&D Website
います。「tsuzumi」は、効率的に知識を学習させることのできるアダプタ*4により、例えば特定の業界に特有の言語表現や知識に対応するようなチューニングを少ない追加学習量で実現できます。 マルチモーダル*5
https://www.rd.ntt/hil/recruitment/focus01.html
OH2020ポスター
と映像を手がかりとしたマルチモーダル選択的聴取 ・ 顔で声の表情を制御する クロスモーダル音声表情変換 ・ 探し方を学びながら探す 適応的スポッティング法による効率的な物体探索 ・ データを端末から漏洩
https://www.rd.ntt/cs/event/openhouse/2020/download/2020_poster.pdf
生成AI時代におけるコミュニケーション科学研究の新展開――人間と情報の本質探求と人に寄り添う技術の協創に向けて | NTT R&D Website
発表されたGPT-4oでは、リアルタイムでの音声対話や、カメラで撮影した映像を見せながら質問するなど、マルチモーダルな入出力応答も扱えるようになり、さらなる注目を浴びています。しかしながら、現状の生成
https://www.rd.ntt/research/JN202409_29257.html
Another Meを実現する技術群|NTT R&D Website
参加者の振る舞いの時間変化や、参加者間の動きの同期、話者音声の変化、発言内容などをまとめて学習するマルチモーダル深層学習手法や、複数の対話状況を同時に推定するマルチタスク学習手法などの機械学習の技術
https://www.rd.ntt/research/JN202201_16956.html
波動伝搬研究部|NTT未来ねっと研究所|NTT R&D Website
に取り組んでいます。 また、光デバイスを応用した新たな無線信号処理による光マトリクス無線ビームフォーミングや空間中で電波の波動を制御するマルチシェイプ波動制御、マルチモーダルな無線環境情報に基づく無線通信
https://www.rd.ntt/mirai/organization/product_3/
oh09_pamphlet.pdf
− ・・・・・・・・・・28 A 場とコミュニケーション B-1 会話の流れが一目瞭然! −コミュニケーションシーンを理解する音声映像技術− ・・・・・・・・・・・・・29 ● 実時間会議モニタリング −リアルタイム & マルチモーダル
https://www.rd.ntt/cs/event/openhouse/2009/oh09_pamphlet.pdf
IOWN INTEGRAL | NTT R&D Website
な特徴は以下の5つになります。 軽量:1GPU/1CPUで動作可能 カスタマイズ可能:業界・組織の専門知識を保有させやすい マルチモーダル:言語だけではなくグラフや表の読解にも対応 日本語に強い:性能世界
https://www.rd.ntt/forum/2024/keynote_2.html
OH2020リーフレット
と映像を手がかりとしたマルチモーダル選択的聴取 顔で声の表情を制御する クロスモーダル音声表情変換 探し方を学びながら探す 適応的スポッティング法による効率的な物体探索 データを端末から漏洩させない分散
https://www.rd.ntt/cs/event/openhouse/2020/download/2020_leaflet.pdf
人と情報の本質を究め、人と情報をつなぐ ――未知なる真理の探究と学際的研究により持続可能な未来を切り拓くコミュニケーション科学 | NTT R&D Website
ちや立場を考慮した適切な対話をすることはまだ困難です。本特集記事『気の利く対話AIのための「空気を読む」技術──マルチモーダル情報を用いた対話の場・関係の理解とインクリメンタル応答生成(8)』では、人間
https://www.rd.ntt/research/JN202508_35368.html
知の交響で人と情報に迫り未来を描く | NTT R&D Website
コミュニケーションにおいて、身体を介した相互作用を応用する試みについても紹介します。 共感 身体性情報伝送技術 家族のつながり支援 気の利く対話AIのための「空気を読む」技術――マルチモーダル情報を用い
https://www.rd.ntt/research/JN202508_35370.html
幅広い領域をカバーし新たな通信パラダイムを切り拓く研究開発 | NTT R&D Website
ュニケーションの実現に向け、物理空間の構成情報をリアルタイムで低遅延に伝送するナチュラルメディア処理技術、センシング・AI(人工知能)等により、通信品質・環境を予測し、設定・制御・管理するマルチモーダル無線環境把握
https://www.rd.ntt/research/JN202205_18109.html
変化する現在(いま)に適応し、持続する未来(あす)を切り拓くコミュニケーション科学 ――人・社会・環境との調和と共生をもたらす技術の創出 | NTT R&D Website
する「マルチモーダルSpeakerBeam」(3)を提案しました。本技術により、声質が似通った複数話者が存在する場合には唇の動きを主な手掛かりとし、逆に唇の映像が得られない場合には音声を主な手掛
https://www.rd.ntt/research/JN202208_19139.html
クロスモーダル表現学習技術によりバイオデジタルツインの実現をめざす | NTT R&D Website
や仮定を置いたうえで細胞塊をつなぎ合わせて、臓器としてのパフォーマンスを推計することができる可能性があります。これは、治療法の選択などに向けて大きな一歩になるのではないかと思います。 このほか、多チャネルマルチモーダル
https://www.rd.ntt/research/JN202407_27025.html
人と社会と地球の未来を読み解き、誰もが輝ける世界をデザインする─多様な知と技術で過去・現在・未来をつなぐコミュニケーション科学 | NTT R&D Website
した、世界的にもあまり例をみない研究です。今後、人と人との関係性を会話やその場の状況から学習する技術はますます重要になってくると考えられ、CS研においても対話シーンにおける音声・画像・言語情報などのマルチモーダル
https://www.rd.ntt/research/JN202308_22751.html
最新のICTをいち早く医療へ応用、新たなアプローチで心疾患など病気の早期発見に挑む | NTT R&D Website
することをめざしています。 さらにミクロなレベルで得られたマルチモーダル、マルチスケールの情報をマクロレベルに生成加工したり、将来的には日本中で計測されている心電図のビッグデータの解析に適応していけるようにコツ
https://www.rd.ntt/research/JN202601_37943.html
音の聴き方を自ら学ぶAI――自己教師あり学習によるさまざまな音の汎用表現学習技術から、大規模言語モデルを活用した音の理解の最前線へ | NTT R&D Website
ルビーイングへ――身体を介した共感メカニズムの解明および身体性情報伝送技術を活用した離れた家族のつながり支援 気の利く対話AIのための「空気を読む」技術――マルチモーダル情報を用いた対話の場・関係の理解とイン
https://www.rd.ntt/research/JN202508_35362.html