英語初心者にも優しい！
音声認識技術を活用したスピーキング教材
小田倉 淳
NTT研究企画部門 プロデュース担当
担当課長

新型コロナウイルスの影響で残念ながら中止となってしまった『ニコニコ超会議2020』。『ニコニコネット超会議2020』としてオンラインイベントは開催されましたが、実際には披露できなかった企画や展示が多数あります。ここでは、紹介できなかった研究内容と展示内容について紹介していきます。

1. ＊使用している画像や図版は準備段階のもので、実際には使用されていないものを含みます

もうスピーキングは怖くない！ 日本人特有の英語発音に対応した音声認識技術と二次元キャラを組み合わせ、エンタメ性を高めたユニークな英語教材です。音声認識技術を活用して、積極的にスピーキング学習に取り組み、英語を話すことに自信を付けてもらうことを期待して、スマホを使って手軽にプレイできるアプリに仕上げました。

英語を習い始めた人の多くが、英語の4技能（読む・書く・聞く・話す）の中で、他の技能に比べ、話すことを苦手としていると考えています（2019年度実証実験時のアンケートより）。NTTでは、日本人訛りの英語に対応した音声認識技術を活用し、話した内容をすぐ文字にして見せることが、発話学習のモチベーションを維持向上につながるとの仮説をもって、ゲーム形式での会話アプリケーションを検討・開発しました。

NTTは、世界でも類を見ないほど膨大な音声データを収集・学習し、日本語の母語の影響を受けている「日本人英語」に対応した高精度な音声認識技術を開発しています。多くの発話練習アプリは、英語を習い始めた人の発話を正しく認識することができません。利用している音声認識技術が、日本人訛りの英語に十分な対応ができていないことが想定されます。

丁寧に発話しても意図したとおりの認識がされなければ、発話の意欲が低下してしまいます。一方、人との対面コミュニケーションにおいては、恥ずかしさや緊張感などの発話に対する抵抗感があります。発話が文字になる事を確認しながらの学習は、話した英語が伝わらないことへの不安や発話の抵抗感が解消され、「まず声に出して話してみよう」といった意欲向上と、それによる発話量の増大が得られることを確認しています。

ニコニコ超会議2020に向けての取り組みでは、音声認識技術によるモチベーションの向上に加え、コンテンツ（教材）とユーザー操作性によるモチベーションへの寄与を目論んでいました。

日本のサブカルチャーの代表格であるアニメ・漫画がビジネスシーンにも活用されることが一般的になっていますが、教科書や一般書店の学習教材に登場するキャラクターにおいても、その流れが強まっています。今回の展示でも、コンテンツをきっかけに発話に取り組んでもらい、技術に触れてもらうことを目的として、サブカルチャーとの接点が多い層にフォーカスを当てたコンテンツを取り入れています。

展示するアプリケーションでは、ゲームの世界に入り込んだユーザーがキャラクターと会話していく形で進みます。キャラクターが望む回答と異なる場合はタイムリープし、発話の誤りがあった場合は、発話の特訓を行うといった展開でストーリーを進めます。

アプリは、ゲームの世界観を「学園恋愛ファンタジーもの」に設定し、異世界からやってきた「エマ」をメインキャラクターに据えるなど、ストーリー性の高いコンテンツとなっています。学園ファンタジーという設定を踏まえて、教室をイメージしたブースを作る構想があり、実現していたら臨場感あふれる体験ができたのではないかと思います。また、使用機器としてタブレット端末とヘッドセットを用意し、個別にアプリを試用してもらうことを想定していました。

単に教材を読み上げて音声認識してもらうだけでも、進行役の先生がいれば効果を期待できますが、物語の中でキャラクターとの会話を楽しむ内容とすることで、自立的な取り組みが持続することを期待しています。

学習者個人に合った学習内容や、英語の発話が得意でない話者に優しい学習方法を提供することで、英語を話すことに自信を持ち、将来、海外の人を相手に活躍できるグローバル人材の育成に貢献していきたいと考えています。