重点募集中の職種:NTT版大規模言語モデル「tsuzumi」に関する研究開発

  • NTT版LLMの概要

    近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発1基1時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。
    NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*3」を開発しました。「tsuzumi」のパラメタサイズは6~70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し、1GPUやCPUでの推論動作を実現します。更に、「tsuzumi」は視覚や聴覚といったモーダルに対応し、特定の業界や企業組織に特化したチューニングが可能です。

技術のポイントは?

軽量なLLM

「tsuzumi」のパラメタサイズは2023年10月時点で軽量版の70億(7B)と、超軽量版の6億(0.6B)の2種類をそろえ、OpenAI社 GPT-3の1750億(175B)に対しておよそ300分の1および25分の1のサイズです。軽量版は1GPUで、超軽量版はCPUで高速に推論動作可能なモデルサイズにすることで、実用上必要となる追加学習や推論に必要なコストを抑えることが可能です。

日本語が得意なLLM

「tsuzumi」は日本語と英語に対応しており、特に日本語処理性能については、NTT研究所の長年の言語処理研究の蓄積を活かすことで、小さなパラメタサイズであっても各種のベンチマーク比較で高い精度が確認できています。

柔軟なチューニング

LLMに新しい知識を追加で学習させるようとする場合、膨大な数のパラメタ全てを再学習させると、計算にかかる学習コストが大きくなってしまいます。「tsuzumi」は、効率的に知識を学習させることのできるアダプタ*4により、例えば特定の業界に特有の言語表現や知識に対応するようなチューニングを少ない追加学習量で実現できます。

マルチモーダル*5

「tsuzumi」は必ずしも言語化されていないグラフィカルな表示や音声のニュアンス、顔の表情、ユーザのおかれている状況や、さらにはロボットが自分の身体感覚やヒトの身体的特徴を理解し、現実世界での人との協調作業も可能なモーダル拡張に対応予定です。(2024年3月以降)

募集要項

1.大規模言語モデル開発エンジニア(システム開発)

Mission

業務内容

研究成果である大規模言語モデル(LLM)の推論エンジン、モデルチューニングツールなどを、事業会社で利用可能な形のプロダクトとして開発する業務です。事業の要望をヒアリングしながら開発対象となるプロダクトの設計、開発をマネジメントし、事業会社に提供後は、利用に関する支援、維持管理を行います。

  • 事業ニーズヒアリング
  • 開発マネジメント(開発計画、設計~試験)
  • 事業会社への提供、利用支援、維持管理
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • LLMに関連したOSSを用いた推論、チューニング処理に関する実務経験(言語処理の経験があればOK)
  • 機械学習に関わるOSSの等各種ツールの一部実装/改良経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として自然言語処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • HuggingFace等LLMの実行環境を構成するOSSのコミット
  • 高可用性、高信頼性を実現するシステム開発/構築の経験
  • ソフトウェア開発・商用導入のプロジェクトマネジメント
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
Person

求める人材像

チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。

2.大規模言語モデル検証エンジニア(プロトタイプ検証)

Mission

業務内容

大規模言語モデル(LLM)の最新技術や研究動向を常にウォッチし、有望なモデルや処理ライブラリなどをどんどん取り入れながら、実装、実験、評価し、結果を、研究メンバ・開発メンバにフィードバックする業務です。最新動向をいち早く研究開発に導入するための知見をためて情報発信します。

  • LLMに関する最新技術調査、目利き
  • 選定した技術、ライブラリ等を手元環境で実装し、評価検証
  • 市中LLMとの比較検証
  • 検証結果のまとめ、情報発信
  • 開発メンバ、研究メンバへのフィードバック、事業案件検証の後方支援
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • LLMに関連したOSSを用いた推論、チューニング処理に関する実務経験(言語処理の経験があればOK)
  • 機械学習に関わるOSSの等各種ツールの一部実装/改良経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として自然言語処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • HuggingFace等LLMの実行環境を構成するOSSの活用経験
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
  • ソフトウェア開発、非機能要件の検証に関する経験
  • 言語処理に関する研究、検証の経験
Person

求める人材像

チーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。LLMなど最新の技術に興味があり、手を動かして物を作っていくことが好きな方。

3.大規模言語モデルプロダクトエンジニア(事業化に向けた検証PoCの推進業務)

Mission

業務内容

大規模言語モデル(LLM)を活用する事業化PoC案件において、エンジニアリングの支援をする業務です。開発会社とも連携し、技術の専門家として案件に関わりながら、事業化に向けた検証PoCを推進します。

  • 事業会社、開発会社も含めた事業会社支援に必要なフォーメーションの構築調整
  • 各案件での活用タスクのヒアリング、具体化、上流工程コンサルティング
  • 実データでのチューニング、推論検証などの各種検証工程の推進
  • PoC検証から見えてきた新たな課題のコア研究へのフィードバック
  • 事業化に移行した案件の問い合わせ対応、維持管理
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • LLMに関連したOSSを用いた推論、チューニング処理に関する実務経験(言語処理の経験があればOK)
  • 機械学習に関わるOSSの等各種ツールの一部実装/改良経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として自然言語処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • HuggingFace等LLMの実行環境を構成するOSSに関する知識
  • 高可用性、高信頼性を実現するシステム開発/構築の経験
  • ソフトウェア開発・商用導入のプロジェクトマネジメント
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
  • 事業会社とのやりとり、ヒアリングを丁寧に行えるコンサル力や交渉力
Person

求める人材像

チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。色々な業界の人と会話をすることが好きな方。

4.大規模言語モデルリサーチエンジニア(言語モデル学習方式改善)

Mission

業務内容

大規模言語モデル(LLM)の様々な学習アルゴリズムのサーベイ、検証、改良を通じて、既存技術を上回る新しい学習方式を研究する業務です。

  • 日々発表される新技術やOSSのサーベイ、技術の目利き
  • 注目技術の検証、分析、改善アルゴリズムの検討提案、論文化
  • 開発メンバへの技術トランスファー、ノウハウ共有
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • LLMに関連したOSSを用いた推論、チューニング処理に関する実務経験
  • 機械学習に関わるOSSの等各種ツールの一部実装/改良経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として自然言語処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • HuggingFace等LLMの実行環境を構成するOSSに関する知識
  • 高可用性、高信頼性を実現するシステム開発/構築の経験
  • ソフトウェア開発・商用導入のプロジェクトマネジメント
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
Person

求める人材像

新しい技術に対する興味関心が強く、手を動かしてものをつくることが好きな方。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。

5.大規模言語モデルリサーチエンジニア(マルチモーダル検証)

Mission

業務内容

音声処理と大規模言語モデル(LLM)の融合に関する様々な技術のサーベイ、検証、改良を通じて、既存技術を上回る新しい方式を研究する業務です。

  • 日々発表される新技術やOSSのサーベイ、技術の目利き
  • 注目技術の検証、分析、改善アルゴリズムの検討提案、論文化
  • 開発メンバへの技術トランスファー、ノウハウ共有
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • 音声信号処理に関する基礎知識
  • 機械学習に関わるOSS等の各種ツールの一部実装/改良経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として音声処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • LLMに関連したOSSを用いた推論、チューニング処理に関する実務経験
  • 音声処理と自然言語処理を併用したシステム(音声対話システム等)の開発/構築/維持運用経験
  • HuggingFace等LLMの実行環境を構成するOSSに関する知識
  • 高可用性、高信頼性を実現するシステム開発/構築の経験
  • ソフトウェア開発・商用導入のプロジェクトマネジメント
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
Person

求める人材像

新しい技術に対する興味関心が強く、手を動かしてものをつくることが好きな方。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。

6.大規模言語モデルデータエンジニア(学習データ整備)

Mission

業務内容

質の高い大規模言語モデル(LLM)の構築に向け、様々な言語データを収集、加工してデータベースを整備する業務です。

  • データに関する情報収集、および、データ収集
  • 多様な言語処理タスクに関するデータ整備
  • 大規模データ処理、クレンジングに関する検証
  • モデル構築及び検証
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • 大規模データ処理に関する経験
  • LLMに関連したOSSを用いた推論、チューニング処理に関する実務経験ないしは興味
  • 機械学習に関わるOSSの等各種ツールの一部実装/改良経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として自然言語処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • HuggingFace等LLMの実行環境を構成するOSSに関する知識
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
Person

求める人材像

特に大規模データ処理に関しての経験があることが望ましい。タスクに対してどのようなデータが必要か、という検討においては、やや職人気質で地道な作業を根気よく取り組めるタイプが向いている。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。

7.大規模言語モデルデータエンジニア(多言語データベース整備)

Mission

業務内容

質の高い大規模言語モデル(LLM)の構築に向け、日本語以外の、多言語についての様々な言語データを収集、加工してデータベースを整備する業務です。ターゲットとしては英語のほかに、事業ニーズを見据えて、取組む言語を選定します。

  • ターゲットとする多言語データに関する情報収集、および、データ収集
  • 多様な言語処理タスクに関するデータ整備
  • 大規模データ処理、クレンジングに関する検証
  • モデル構築及び検証
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • 大規模データ処理に関する経験ないしは興味
  • LLMに関連したOSSを用いた推論、チューニング処理に関する実務経験
  • 機械学習に関わるOSSの等各種ツールの一部実装/改良経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として自然言語処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • HuggingFace等LLMの実行環境を構成するOSSに関する知識
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
Person

求める人材像

特に大規模データ処理に関しての経験があることが望ましい。タスクに対してどのようなデータが必要か、という検討においては、やや職人気質で地道な作業を根気よく取り組めるタイプが向いている。また、グローバルな事業に興味がある、新たな領域にも果敢にチャレンジしたい、など、高い目標を達成する強い意志を持つ方。

8.大規模言語モデルプロダクトエンジニア(音声認識+LLM事業化推進)

Mission

業務内容

大規模言語モデル(LLM)を活用する事業化PoC案件において、エンジニアリングの支援をする業務です。特に、音声認識とLLMを統合した技術のPoC検証を推進します。開発会社とも連携し、技術の専門家として案件に関わりながら、事業化に向けた検証PoCを推進します。

  • 事業会社、開発会社も含めた事業会社支援に必要なフォーメーションの構築調整
  • 各案件での活用タスクのヒアリング、具体化、上流工程コンサルティング
  • 実データでのチューニング、推論検証などの各種検証工程の推進
  • PoC検証から見えてきた新たな課題をコア研究へのフィードバック
  • 事業化に移行した案件の問い合わせ対応、維持管理
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • 音声信号処理に関連したOSSを用いた推論、チューニング処理に関する実務経験
  • 機械学習に関わるOSSの等各種ツールの一部実装/改良経験
  • 情報工学、数理学のいず]れかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として音声処理または自然言語処理分野における開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • 音声処理と自然言語処理を併用したシステム(音声対話システム等)の開発/構築/維持運用経験
  • 大規模データ処理に関する経験
  • HuggingFace等LLMの実行環境を構成するOSSに関する知識
  • 高可用性、高信頼性を実現するシステム開発/構築の経験
  • ソフトウェア開発・商用導入のプロジェクトマネジメント
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
  • 事業会社とのやりとり、ヒアリングを丁寧に行えるコンサル力や交渉力
Person

求める人材像

チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。色々な業界の人と会話をすることが好きな方。

9.音声生成AIエンジニア(音声合成+LLM事業化推進)

Mission

業務内容

テキスト音声合成、音声変換等の音声生成技術の事業化の推進に向けて、エンジニアリングの支援をする業務です。開発会社とも連携し、技術の専門家として案件に関わりながら、事業化に向けた検証PoC及び実システムの構築を推進します。

  • 事業会社、開発会社と連携し、検証PoC構築推進
  • 実データでのモデル構築及び検証
  • 事業化に移行した案件の問い合わせ対応、維持管理
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • Linuxを用いた大規模データ処理に関する経験
  • 深層学習に関わるOSSの等各種ツールの一部実装/改良に関する実務経験
  • 情報工学、数理学のいずれかの領域に関するスキル(大学院修士課程レベル以上)、または社会人として深層学習を用いた技術に関するプロダクト開発、システム構築または維持運用で3年以上の経験とスキル
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • 音声情報処理に関する実務経験/知識
  • 音声処理と自然言語処理を併用したシステム(音声対話システム等)の開発/構築/維持運用経験
  • 高可用性、高信頼性を実現するシステム開発/構築の経験
  • ソフトウェア開発・商用導入のプロジェクトマネジメント
Person

求める人材像

深層学習を用いたモデル学習に関しての経験があることが望ましい。チーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。最新の技術に興味があり、手を動かして物を作っていくことが好きな方。

10.高度対話エージェント開発エンジニア(LLMチューニング・プロンプトエンジニアリング)

Mission

業務内容

雑談など人間らしい自然な会話ができる高度な対話エージェントの研究開発チームに加わり、AIや自然言語処理の専門家のもとで、LLMのチューニングやプロンプトエンジニアリング等の最新技術の調査・実装・検証を行い、既存技術を上回る新たな方式を研究する業務です。

  • 日々発表される新技術やOSSのサーベイ、技術の目利き
  • LLMのチューニング(LoRA等)のためのデータ整備、学習実施、評価
  • プロンプトエンジニアリングに基づくLLM対話エージェントの試作と評価
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • LLMおよび関連する機械学習モデルの仕組みに関する理解
  • プロンプトエンジニアリングの経験
  • LLMを活用したサービスの実装やPoCの経験

〈歓迎要件〉

  • LLMの高速化、アダプタチューニング、インストラクションチューニング等の経験
  • 強化学習、RLHFに関する知識・経験
Person

求める人材像

新規技術の目利き等の業務でLLMの活用検討に携わり、プロンプトエンジニアリングにより所望の結果が得られるかテストしたり、LLMをシステムに組み込んで評価するなどの経験を持つ方。新たな技術に好奇心を持ち、多少の問題や失敗があっても解決に向けて根気よく取り組むことができる方。チームで協力して業務に当たった経験もあり、業務上必要なコミュニケーションは積極的に行う方。 もしくは、理論だけでなく自ら手を動かして実装まで行うタイプの研究者。学生の指導やチームでの研究プロジェクトの経験があり、周囲と協調して研究を進めることができる方。

11.大規模言語モデル事業展開推進マネージャ(個別案件対応)

Mission

業務内容

大規模言語モデル(LLM)を活用する事業化PoC案件において、案件推進を支援する業務です。事業会社・研究所・開発会社など、複数関係者との調整、フォーメーション構築、PoCの具体化や案件管理を一人称で推進し、LLM事業化に貢献します。

  • 事業会社、開発会社も含めた事業会社支援に必要なフォーメーションの構築調整
  • 各案件でのPoCの具体化(活用タスクのヒアリング、上流工程コンサルティング)
  • PoCにおける各種検証工程の推進やプロジェクト管理
  • PoC検証から見えてきた新たな課題のコア研究へのフィードバック
  • 事業化に移行した案件の問い合わせ対応、維持管理
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • LLMや音声言語画像等メディア関連技術において、実証実験プロジェクトをマネージメントした実務経験
  • 高い目標を達成する強い意志と、新たな領域に挑戦する旺盛な好奇心をお持ちの方
  • 柔軟性・協調性を持ち、円滑なコミュニケーションが図れる方

〈歓迎要件〉

  • HuggingFace等、LLMの実行環境を構成するOSSに関する知識
  • 高可用性、高信頼性を実現するシステム開発/構築の経験
  • ソフトウェア開発・商用導入のプロジェクトマネジメント
  • Linux、MySQL等のサーバ技術・データベース技術に関する基礎知識
  • 事業会社とのやりとり、ヒアリングを丁寧に行えるコンサル力や交渉力
Person

求める人材像

言語、音声、映像処理系のシステムの開発/構築/維持運用でプロジェクトを推進した経験、特に実用化検証において10名程度のステークホルダーが存在する案件をマネジメントした経験を持つ方。チームメンバの育成やチーム力の向上に貢献し、柔軟性・協調性を持ち、円滑なコミュニケーションができる方。また、新たな領域にも果敢にチャレンジし、高い目標を達成する強い意志を持つ方。色々な業界の人と会話をすることが好きな方。

12.大規模言語モデル戦略コンサルタント(AIの研究・開発・ビジネス戦略の策定)

Mission

業務内容

大規模言語モデルを中心としたNTT研究所のAI戦略を策定し、組織の方針に位置づけ、実効的な体制構築に向けた業務を行います。研究・開発・ビジネス戦略にかかる全体を俯瞰し、今後NTT研究所が進むべき方向性について検討し、提起することを主たる目的とします。

  • AI市場動向の調査、分析
  • NTTグループのAI関連業務の分析
  • 組織の現状と課題の分析
  • 戦略策定
Ability Knowledge

必要とする知識・スキル・能力・経験

(必須要件)

  • 規模の大きなビジネスプロジェクトを企画・主導する業務経験
  • AIビジネスに関する一定の理解

〈歓迎要件〉

  • マーケティング分析スキル
  • ビジネスレベルの英会話スキル
Person

求める人材像

冷静な分析と積極的な企画提案ができ、新たな価値創出に果敢にチャレンジできる方。高い目標を達成する強い意志を持ち、多くの人を巻き込み業務を遂行することができる方。AIビジネス関連の知見を持ち、その研究開発およびプロダクトアウトを主導できる方。柔軟性・協調性を持ち、円滑なコミュニケーションができる方。

勤務地

横須賀研究開発センタ(神奈川県横須賀市光の丘1-1)
但し、在宅勤務を基本とする。日本全国どこからでもリモートワークにより勤務可能。

研究内容

用語解説

  1. *1 大規模言語モデル(LLM)
    Large Language Models:大量のテキストデータを使って学習された言語モデルで、言語の理解や文章の生成に優れた能力をもつもの。
  2. *2 原発1基1時間分の電力量
    パラメタ数が175BのGPT-3規模の学習に約1300MWhであり(1)、原発1基1時間分の電力量(約1000MWh)と同規模
    (1) https://gizmodo.com/chatgpt-ai-openai-carbon-emissions-stanford-report-1850288635
  3. *3 tsuzumi
    「tsuzumi」は商標出願中です。日本語の処理性能を重視し、産業の発展を牽引する言語モデル技術への期待を、雅楽の合奏の開始の切っ掛けを担う鼓に寄せました。
  4. *4 アダプタチューニング
    事前学習済みモデルの外部に追加されるサブモジュール。ファインチューニングの際に事前学習済みモデルのパラメタを固定したままアダプタのパラメタのみを更新することで、計算コストの高いベースモデルの再学習を行わずに知識を学習することができる。
  5. *5 マルチモーダル
    AIへの入力情報の種類(テキスト、画像、音声など)をモーダルと言い、これらの異なる入力情報を組み合わせて使う能力をもった人工知能の特性を指す言葉。

関連する記事