更新日：2021/12/13
いろんな分野でネイティブ並みに翻訳しますニューラル機械翻訳技術NTTコミュニケーション科学基礎研究所
概要
Webデータを大規模に収集し、1000万文対を超える大規模な日本語と英語の対訳コーパスJParaCrawlを作成しました。医療や金融などの特定分野の小規模な対訳データと汎用の大規模な対訳データであるJParaCrawlを組み合わせることにより、特定分野向けの機械翻訳システムを手軽に作成することができます。
背景・従来課題
ニューラルネットワークを用いることにより機械翻訳の精度は大きく向上しました。日常会話や短文の翻訳は実用的な精度に達成しています。しかし、医療・金融・法律など専門性が高い分野では入手可能な対訳データが少ないために十分な翻訳精度を得られないという問題がありました。
本技術のアドバンテージ
- Webから収集した幅広い分野のテキストを含む世界最大規模の日英対訳コーパス
利用シーン
- 日英対訳コーパスJParaCrawlで訓練したニューラル機械翻訳モデルを医療や金融などの専門分野へ領域適応
解説図表
技術解説
対訳データを含むWebサイトを大規模にクロールし、お互いに翻訳になっているWebページの対を検出し、お互いに翻訳になっている文の対を抽出することにより、大規模日英対訳コーパスJParaCrawlを作成しました。 あらかじめJParaCrawlを使って翻訳モデルを作成し、特定の翻訳対象領域の対訳データを使って翻訳モデルをファインチューン(転移学習)することにより、少ない学習時間で高精度の翻訳システムを作成できます。
担当部署
NTTコミュニケーション科学基礎研究所 協創情報研究部