大規模言語モデルの利活用におけるインジェクション攻撃とその対策NTT社会情報研究所

　近年、生成AIによる技術革新が進んでおり、生成AIの中心技術である大規模言語モデル（Large Language Model、以下、LLM）のアプリケーション（以下、LLMアプリ）開発も始まっています。特に、追加の訓練を施すことなく、LLMをそのまま利用する形態（以下、LLMの利活用）も普及しています。　

　LLMの利活用には、人や社会の利便性を飛躍的に高める一方で、攻撃者がLLMアプリの挙動を改ざんできてしまうような脅威が懸念されます。具体的には、LLMアプリとしての本来の指示の代わりに、攻撃者による指示を優先させるような文章を入力することで、LLMが代理で攻撃者による指示を実行してしまいます。結果として、開発者が本来意図していなかった形で、攻撃者は情報の漏洩や改ざん、他のシステムに対する不正操作等を、LLMに代理で実行させることができてしまいます。　

　実際の攻撃手法も報告されており、「プロンプトインジェクション」として知られているこのような攻撃は、世界中の開発者にとって、LLMを活用する上での最も深刻な脅威とされています。したがって、LLMアプリに対するこのような脅威を防ぐために、攻撃手法を具体的かつ網羅的に把握し、効果的な対策を示せる指針が必要と考え、本文書を作成しました。　

　本文書の公開目的は、LLM アプリに対する攻撃手法とその緩和策を体系的に示すことにより、安全な利活用を支援することにあります。本文書は、主に開発者向けに、LLMに対するインジェクション攻撃を洗い出し、その対策方針を示します。具体的には、開発対象であるLLMアプリの構成に対して、想定される攻撃手法と緩和策をマッピングし、対策検討を支援します。　

2024年12月25日：大規模言語モデルの利活用におけるインジェクション攻撃とその対策（第1版）

執筆者　青島 達大 （NTT社会情報研究所 研究員）

協力者（五十音順）

秋山 満昭（NTT社会情報研究所 上席特別研究員）、大久保 隆夫（情報セキュリティ大学院大学 教授）、桑名 栄二（情報セキュリティ大学院大学 教授）、後藤 厚宏（情報セキュリティ大学院大学 教授）、白石 将浩（NTT社会情報研究所 主任研究員）、瀧口 浩義（日本電信電話株式会社 担当部長）、濱田 貴広（NTT社会情報研究所 主幹研究員）、村上 康二郎（情報セキュリティ大学院大学 教授）

本文書の執筆に伴い、足立真一氏（Shin Adachi,CISSP,CISM,CISA,PMP）より貴重なご意見をいただきました。この場を借りて、お礼申し上げます。

本文書（第1版）の学術的背景は論文として、2024年10月に開催された国内研究会 コンピュータセキュリティシンポジウム2024（CSS2024） [1]にて発表しています。

[1] 青島達大，秋山満昭（2024）大規模言語モデルの利活用におけるインジェクション攻撃に関する脅威の体系化．コンピュータセキュリティシンポジウム．

　本文書は、2024年11月末時点までの最新動向を踏まえているものの、不十分な点や利用上不便となる点はあるかと思います。LLMの利活用における環境の変化を適宜反映しながら、今後も本文書の修正や改良を重ねていく予定です。ご意見やご感想は、NTT社会情報研究所（メールアドレス：solab [at] ntt [dot] com）までお願いします。なお、頂いた内容は、執筆者や協力者等へ共有させていただいたり、今後の改良に合わせて公開させていただいたりする場合がございます。

NTT社会情報研究所　社会情報理論研究プロジェクト