MediaGnosis Package for Communication Supportソフトウェアイノベーションセンタ

概要

リモートワークによるマイクやカメラを使ったコミュニケーションが当たり前になるなか、それらの入力デバイスから得られる映像や音声情報を用いて、リモートや対面におけるコミュニケーションを支援するために必要な機能をそろえ、簡単に利用できるライブラリを開発しました。映像や音声を入力とした、多くの認識機能をそろえており、リモート会議、ウェビナー会議、対面会議、接客・面談などの様々なコミュニケーションを支援可能です。

背景・従来課題

コロナ禍以降、リモートワークによるマイクやカメラを使ったコミュニケーションが当たり前になるなかで、コミュニケーションの中で、相手の感情がわかりにくいなどのリモートによる情報の欠落などが問題視されており、コミュニケーションの支援の重要性が高まっています。また、リモートから対面に戻っている流れもある中、リモート前提のみではなく、対面の時にもコミュニケーションを支援する重要性も高まっています。

本技術のアドバンテージ

MediaGnosisを用いた50以上のAI機能が簡単に使えるパッケージ

利用シーン

リモート会議、ウェビナー会議、対面会議、接客・面談など

解説図表

技術解説

・コミュニケーションに特化した機能を含む多くの機能（複数人音声認識、しぐさ認識、感情推定など）をライブラリとして、準備しています
・モーダルごとに、使いたい機能を設定ファイルに指定するのみでプログラムを大幅変更せずに使えるようなライブラリとして設計しています
・独自軽量化手法のMediaGnosisをラップすることで、GPUがいらないDNN（Deep Neural Network）処理となっており、intel CPUで高速推論処理が可能です

用語解説

MediaGnosis
音声音響処理・画像映像処理・自然言語処理・クロスモーダル処理といったマルチメディアの情報処理を統合的にオールインワンで扱うことで、これまでよりも効率的な「学習」と高精度かつ総合的な「推論」を実現する次世代メディア処理AI

担当部署

ソフトウェアイノベーションセンタ　サービスエンジンプロジェクト

研究所へのお問い合わせ

リサーチ&アクティビティ一覧に戻る