NTT版LLMの概要
近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発1基1時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。
NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*3」を開発しました。「tsuzumi」のパラメタサイズは6~70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し、1GPUやCPUでの推論動作を実現します。更に、「tsuzumi」は視覚や聴覚といったモーダルに対応し、特定の業界や企業組織に特化したチューニングが可能です。
「tsuzumi」のパラメタサイズは2023年10月時点で軽量版の70億(7B)と、超軽量版の6億(0.6B)の2種類をそろえ、OpenAI社 GPT-3の1750億(175B)に対しておよそ300分の1および25分の1のサイズです。軽量版は1GPUで、超軽量版はCPUで高速に推論動作可能なモデルサイズにすることで、実用上必要となる追加学習や推論に必要なコストを抑えることが可能です。
「tsuzumi」は日本語と英語に対応しており、特に日本語処理性能については、NTT研究所の長年の言語処理研究の蓄積を活かすことで、小さなパラメタサイズであっても各種のベンチマーク比較で高い精度が確認できています。
LLMに新しい知識を追加で学習させるようとする場合、膨大な数のパラメタ全てを再学習させると、計算にかかる学習コストが大きくなってしまいます。「tsuzumi」は、効率的に知識を学習させることのできるアダプタ*4により、例えば特定の業界に特有の言語表現や知識に対応するようなチューニングを少ない追加学習量で実現できます。
「tsuzumi」は必ずしも言語化されていないグラフィカルな表示や音声のニュアンス、顔の表情、ユーザのおかれている状況や、さらにはロボットが自分の身体感覚やヒトの身体的特徴を理解し、現実世界での人との協調作業も可能なモーダル拡張に対応予定です。(2024年3月以降)
研究成果である大規模言語モデル(LLM)の推論エンジン、モデルチューニングツールなどを、事業会社で利用可能な形のプロダクトとして開発する業務です。事業の要望をヒアリングしながら開発対象となるプロダクトの設計、開発をマネジメントし、事業会社に提供後は、利用に関する支援、維持管理を行います。
(必須要件)
〈歓迎要件〉
チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。
大規模言語モデル(LLM)の最新技術や研究動向を常にウォッチし、有望なモデルや処理ライブラリなどをどんどん取り入れながら、実装、実験、評価し、結果を、研究メンバ・開発メンバにフィードバックする業務です。最新動向をいち早く研究開発に導入するための知見をためて情報発信します。
(必須要件)
〈歓迎要件〉
チーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。LLMなど最新の技術に興味があり、手を動かして物を作っていくことが好きな方。
大規模言語モデル(LLM)を活用する事業化PoC案件において、エンジニアリングの支援をする業務です。開発会社とも連携し、技術の専門家として案件に関わりながら、事業化に向けた検証PoCを推進します。
(必須要件)
〈歓迎要件〉
チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。色々な業界の人と会話をすることが好きな方。
大規模言語モデル(LLM)の様々な学習アルゴリズムのサーベイ、検証、改良を通じて、既存技術を上回る新しい学習方式を研究する業務です。
(必須要件)
〈歓迎要件〉
新しい技術に対する興味関心が強く、手を動かしてものをつくることが好きな方。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。
音声処理と大規模言語モデル(LLM)の融合に関する様々な技術のサーベイ、検証、改良を通じて、既存技術を上回る新しい方式を研究する業務です。
(必須要件)
〈歓迎要件〉
新しい技術に対する興味関心が強く、手を動かしてものをつくることが好きな方。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。
質の高い大規模言語モデル(LLM)の構築に向け、様々な言語データを収集、加工してデータベースを整備する業務です。
(必須要件)
〈歓迎要件〉
特に大規模データ処理に関しての経験があることが望ましい。タスクに対してどのようなデータが必要か、という検討においては、やや職人気質で地道な作業を根気よく取り組めるタイプが向いている。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。
質の高い大規模言語モデル(LLM)の構築に向け、日本語以外の、多言語についての様々な言語データを収集、加工してデータベースを整備する業務です。ターゲットとしては英語のほかに、事業ニーズを見据えて、取組む言語を選定します。
(必須要件)
〈歓迎要件〉
特に大規模データ処理に関しての経験があることが望ましい。タスクに対してどのようなデータが必要か、という検討においては、やや職人気質で地道な作業を根気よく取り組めるタイプが向いている。また、グローバルな事業に興味がある、新たな領域にも果敢にチャレンジしたい、など、高い目標を達成する強い意志を持つ方。
大規模言語モデル(LLM)を活用する事業化PoC案件において、エンジニアリングの支援をする業務です。特に、音声認識とLLMを統合した技術のPoC検証を推進します。開発会社とも連携し、技術の専門家として案件に関わりながら、事業化に向けた検証PoCを推進します。
(必須要件)
〈歓迎要件〉
チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。色々な業界の人と会話をすることが好きな方。
テキスト音声合成、音声変換等の音声生成技術の事業化の推進に向けて、エンジニアリングの支援をする業務です。開発会社とも連携し、技術の専門家として案件に関わりながら、事業化に向けた検証PoC及び実システムの構築を推進します。
(必須要件)
〈歓迎要件〉
深層学習を用いたモデル学習に関しての経験があることが望ましい。チーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。最新の技術に興味があり、手を動かして物を作っていくことが好きな方。
雑談など人間らしい自然な会話ができる高度な対話エージェントの研究開発チームに加わり、AIや自然言語処理の専門家のもとで、LLMのチューニングやプロンプトエンジニアリング等の最新技術の調査・実装・検証を行い、既存技術を上回る新たな方式を研究する業務です。
(必須要件)
〈歓迎要件〉
新規技術の目利き等の業務でLLMの活用検討に携わり、プロンプトエンジニアリングにより所望の結果が得られるかテストしたり、LLMをシステムに組み込んで評価するなどの経験を持つ方。新たな技術に好奇心を持ち、多少の問題や失敗があっても解決に向けて根気よく取り組むことができる方。チームで協力して業務に当たった経験もあり、業務上必要なコミュニケーションは積極的に行う方。 もしくは、理論だけでなく自ら手を動かして実装まで行うタイプの研究者。学生の指導やチームでの研究プロジェクトの経験があり、周囲と協調して研究を進めることができる方。
大規模言語モデル(LLM)を活用する事業化PoC案件において、案件推進を支援する業務です。事業会社・研究所・開発会社など、複数関係者との調整、フォーメーション構築、PoCの具体化や案件管理を一人称で推進し、LLM事業化に貢献します。
(必須要件)
〈歓迎要件〉
言語、音声、映像処理系のシステムの開発/構築/維持運用でプロジェクトを推進した経験、特に実用化検証において10名程度のステークホルダーが存在する案件をマネジメントした経験を持つ方。チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。色々な業界の人と会話をすることが好きな方。
大規模言語モデルを中心としたNTT研究所のAI戦略を策定し、組織の方針に位置づけ、実効的な体制構築に向けた業務を行います。研究・開発・ビジネス戦略にかかる全体を俯瞰し、今後NTT研究所が進むべき方向性について検討し、提起することを主たる目的とします。
(必須要件)
〈歓迎要件〉
冷静な分析と積極的な企画提案ができ、新たな価値創出に果敢にチャレンジできる方。高い目標を達成する強い意志を持ち、多くの人を巻き込み業務を遂行することができる方。AIビジネス関連の知見を持ち、その研究開発およびプロダクトアウトを主導できる方。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。
横須賀研究開発センタ(神奈川県横須賀市光の丘1-1)
但し、在宅勤務を基本とする。日本全国どこからでもリモートワークにより勤務可能。