OWASP Top 10 for LLMはどのように選定されたのか — 投票・データ・合意のプロセスを追跡してみると

OWASP Top 10 for LLMを見ていると、自然と疑問が湧いてきます。なぜPrompt Injectionは1位で、System Prompt Leakageは7位なのでしょうか?誰がどのような統計と計算式で正確に10項目を選んだのでしょうか?

結論から言うと、2025年版のリストは、ある企業が非公開の事故統計を整理したり、一つのスコア計算式で自動的に算出した順位ではありません。OWASP GenAI Security Projectが、既存項目のレビュー、公開候補の提案、コミュニティ投票、項目の統合と圧縮、データ分析、順位投票、項目責任者による文書整理を経て作成したコミュニティ合意型のリスクリストです。

ただし、重要な限界もあります。公式資料には段階と日程、参加方法、候補と投票結果は残されていますが、最終的な1位から10位までを誰もが同じように再現できる単一の加重式は公開されていません。したがって、このリストは精密な発生確率表というよりも、当時のコミュニティがLLMアプリケーションにおいて優先的に検討すべきだと合意したセキュリティ認識・優先順位ガイドとして読むのが正確です。

まず確認すべきこと:現在のリストは2025年版である

OWASPの以前のプロジェクトページには2023〜2024年版のリストが残っており、検索結果だけを見るとバージョンを混同しやすいです。現在の公式GenAI Security Projectが案内する2025 Top 10 for LLMs and Gen AI Appsの順序は以下の通りです。

順位 2025項目 核心的な意味
— — —
LLM01 Prompt Injection 入力や外部コンテンツがモデルの意図された指示を変更するリスク
LLM02 Sensitive Information Disclosure モデルとアプリケーションを介した機密情報の漏洩
LLM03 Supply Chain モデル・データ・プラグイン・依存関係のサプライチェーンの脆弱性
LLM04 Data and Model Poisoning 学習・ファインチューニング・埋め込みデータまたはモデルの汚染
LLM05 Improper Output Handling モデル出力を検証・サニタイズせずに後続システムが処理するリスク
LLM06 Excessive Agency モデルとエージェントに過度な機能・権限・自律性を付与するリスク
LLM07 System Prompt Leakage システムプロンプトが露出したり、その内容にセキュリティを依存する問題
LLM08 Vector and Embedding Weaknesses RAGとベクトル・埋め込み処理層の権限・整合性の脆弱性
LLM09 Misinformation 誤った、または誤解を招く出力を信頼することによって発生するリスク
LLM10 Unbounded Consumption 制限のない推論リソース・トークン・API使用によるコストと可用性のリスク

公式2025年版PDFのプロジェクトリーダー序文は、今回の改訂がブレインストーミングセッション、投票、現場専門家からの実際のフィードバックを組み合わせたものであり、以前よりも大規模で多様なグローバルな貢献者グループが参加したと説明しています。つまり、「Top」は単なる事故件数の降順ではなく、現場経験、新たに浮上した脅威、データ、専門家の判断を合わせた優先順位です。

実際の選定プロセスは7つの段階に分けられる

2024年4月に公開されたv2アップデートとGitHub Wikiのロードマップを合わせると、2025年版リストが作成された過程を以下のように復元できます。

図:OWASP LLM Top 10 2025選定プロセス · v2アップデートとV2 Core List Roadmapに基づいて再構成

1. 既存の10項目をまず再評価した

最初の段階は、既存の2023〜2024年版リストをそのまま維持するのではなく、各項目が引き続き重要であるかをコミュニティが投票するプロセスでした。2024年4月15日から30日まで既存項目に対する投票を受け付け、5月上旬に結果を集計・公開する日程が提示されました。

この段階が必要な理由は、LLMエコシステムの変化の速度が速いためです。1年の間にも、単純なチャットボットからRAG、Tool Calling、自律エージェントへと中心が移動すれば、脅威の範囲と名称も変化します。

2. 新規リスク候補を公開で募集した

次に、5月中旬から6月中旬まで新しい項目が提案されました。Wikiの新規項目提出案内では、候補ディレクトリとテンプレートを利用して提案するように指示され、SlackのTop 10チャンネルでもブレインストーミングが行われました。

この段階は、決められた選択肢の中から一つを選ぶ閉鎖型アンケートではなく、既存リストになかったリスクを自由に提案する生成段階でした。当時の候補議論では、RAGリスク、Backdoor Attack、System Prompt Leakage、Insecure Designといったテーマが登場し、一部は最終リストで独立項目となったり、他の項目に統合されたりしました。

3. 新規候補を投票で絞り込んだ

提案されたすべてのアイデアがすぐにTop 10になるわけではありません。ロードマップでは、6月16日から30日まで新規候補の投票、7月上旬に結果の集計・公開を計画していました。2024年7月のプロジェクトニュースレターも、候補と投票段階が完了し、Raw Candidate、Raw Results、Collated Resultsが公開されたと案内しました。

この過程で、コミュニティの関心がどこに移動したかも明らかになりました。ニュースレターは、Prompt Injectionが引き続き高い優先順位を維持し、Agent、RAG、System Prompt Exploit関連の関心が高まったと要約しました。

4. 重複する項目を統合し、10個の候補に圧縮した

リスク名は異なっても、原因と対策が重複することがあります。例えば、Model Denial of Serviceは、コスト急増、リソース枯渇、サービス障害をすべて含むUnbounded Consumptionに拡張できます。Training Data Poisoningも、学習データだけでなく、ファインチューニング・埋め込み、モデル自体の変造まで含むData and Model Poisoningに広げられました。

ロードマップには、7月15日から8月1日まで既存項目と新規項目を統合し、ダウンセレクトする段階が明記されています。この作業は、単純に得票順で10項目に絞るよりも重要です。互いに重複する候補を一つのカテゴリにまとめ、原因・攻撃経路・対策が独立した項目として説明できるかを判断する必要があるからです。

5. データ分析と最終順位投票を実施した

8月にはデータ分析とRanking Voteが予定されました。OWASP資料が言及するデータには、業界レポート、研究論文、公開された脆弱性や実際の攻撃事例、コミュニティとパートナーが提供した現場情報が含まれます。候補の影響、悪用可能性、拡散度を検討し、専門家のフィードバックで補完する方向です。

ただし、ここで注意が必要です。現在公開資料だけでは以下の計算式を確認することはできません。

최종 점수 = 발생 빈도 40% + 영향도 30% + 악용 가능성 30%

このような固定加重とカットオフが2025年版LLM Top 10に適用されたとOWASPが公式に明記した資料は見つけにくいです。公式表現はData AnalysisとRanking Voteであり、PDFの序文はBrainstorming、Voting、Real-world Feedbackを強調しています。したがって、「データも検討した」と「公開された単一の計算式で順位が再現される」は異なる主張です。

6. 項目責任者が説明と対策を整理した

順位が決定された後、9月にはEntry Cleanup段階が続きました。これは、各項目の定義、一般的な脆弱性事例、予防・緩和戦略、参考資料を整理し、重複表現を調整するプロセスです。GitHub Issueは、項目ごとのラベルを使用し、重複の有無を確認した後、CODEOWNERSに登録された項目責任者に割り当てることで修正提案を追跡します。

Top 10は、項目名10個だけを発表する投票結果ではありません。実務者がリスクを特定し、制御を設計できるように、各項目の境界と事例を文書化する編集・ピアレビュープロセスが含まれます。

7. レイアウトと事前案内を経て発行した

ロードマップは、9月の文書整理とレイアウト、事前案内を経て10月の発行を目標としました。実際の2025年版PDFには2024年11月18日のリリース日が記載されています。計画と実際の発行日は異なる可能性があるため、日程表は「選定プロセスの設計」を理解する根拠として捉え、最終バージョンと日付はPDFで確認する必要があります。

どこで確認できるか

選定プロセスを確認する際には、要約ブログよりもOWASPが残した異なる種類の記録を合わせて見る必要があります。

図:OWASP LLM Top 10選定根拠を確認する経路 · OWASP公式PDF、プロジェクトサイト、GitHub記録に基づいて再構成

確認したいこと 最も直接的な公式資料 ここで確認できる内容
— — —
最終2025年版リストと改訂趣旨 OWASP Top 10 for LLMs 2025 PDF 最終順位、項目定義、リーダー序文、参加者、リリース日
全体の選定段階と予定日程 V2アップデート 既存項目投票から新規公募、統合、分析・順位投票、発行まで
担当主体が示された作業表 V2 Core List Roadmap 段階ごとの期間とコミュニティ・Core Team・Entry Leadの役割
新規項目提案方式 V2 New Entry Submissions-New-Entry-Submissions) 公開候補提出、テンプレート、ブレインストーミングと候補の痕跡
候補・投票結果が公開された当時の記録 2024年7月プロジェクトニュースレター 候補・投票段階完了とRaw・Collated Resultsの案内
最終文書がどのように修正されるか GitHub Issuesと Feedback Wiki 項目ごとのエラー・改善提案、ラベル、重複確認と責任者レビュー
誰が参加し、どのように意見を出すか Contributeと Project Governance Slack、会議、Working Group、合意と投票の一般原則

最も実用的な確認順序は、最終PDF → v2アップデート → GitHub Wikiロードマップ → 当時のニュースレター → IssueとCommit Historyです。PDFだけを見ると最終結果は分かりますが、選定プロセスは短く要約されており、Wikiだけを見ると計画は分かりますが、実際の発行版と違いがある可能性があります。

公開されているものと公開されていないものを区別する必要がある

公開されているもの

  • 既存項目投票、新規項目公募と投票、統合・圧縮、データ分析と順位投票という大きな段階
  • 各段階の予定期間とCore Team、Data Gathering Team、Entry Lead、全体コミュニティの役割
  • 新規候補の一部痕跡と最終項目の変更内容
  • 最終PDFの貢献者と項目別説明
  • 発行後のエラー・改善提案を追跡するGitHub Issue、Pull RequestとCommit History

現在の資料だけでは明確に再現しにくいもの

  • 候補ごとの最終スコアを計算した一つの公式数式と固定加重
  • 各投票の全有権者母集団、回答者構成と標本偏向を評価する詳細統計
  • ダウンセレクト過程で候補を統合または除外したすべての会議の完全な意思決定ログ
  • 2024年ニュースレターが指し示したRaw・Collated Resultsの長期保存状態

GitHub WikiにはData Gathering Methodology文書も存在しますが、編集履歴が常に変わり、一部のページ内容は不完全です。また、その文書の一般的なデータ収集説明を、2025年版の順位に適用された確定的な計算式としてすぐにみなすべきではありません。2025年版選定の最も確実な根拠は、当時のv2ロードマップ、アップデート記事、ニュースレター、最終PDFを相互に確認することです。

この区別はOWASPを不信に思うという意味ではありません。公開プロジェクトの信頼性を評価する際に、プロセスが公開されているかと結果を原資料で完全に再現できるかは、異なる透明性レベルであるという意味です。

一般的なOWASP Web Top 10と同じ方式なのか

違います。OWASPという名前は同じでも、プロジェクトとデータ環境が異なります。

比較項目 OWASP Web Top 10:2021 OWASP Top 10 for LLM:2025
— — —
主な入力 組織が提供した大規模アプリケーション脆弱性データ、CWE・CVE・CVSS、コミュニティアンケート 既存項目レビュー、新規候補提案、コミュニティ投票、業界・研究・実事例データと現場フィードバック
10項目選定方式 8項目は寄与データから、2項目はコミュニティアンケートから選定すると明記 候補投票、統合・ダウンセレクト、データ分析とRanking Voteを結合
公開計算式レベル Incidence Rate、Coverage、Exploit、Impactなどデータ要素と計算手順を比較的詳細に公開 大きな手順は公開されているが、最終順位を再現する単一の計算式・加重表は明確ではない
データ成熟度 数年間蓄積されたWeb脆弱性分類と50万件以上のアプリケーション寄与データ 急速に変化するLLM・RAG・Agent環境、標準化された事故・脆弱性データはまだ限定的
正しい解釈 データとアンケートを組み合わせたWebアプリケーションリスク認識リスト 当時の専門家コミュニティの合意と現場シグナルを反映したLLMアプリケーション優先点検リスト

Web Top 10:2021の公式方法論は、8つのカテゴリが寄与データから、2つがコミュニティアンケートから選ばれたと明確に説明しています。また、発生頻度ではなく、あるアプリケーションで該当CWEが1回以上発見された割合であるIncidence Rateを使用しています。

一方、LLM分野では、共通のCWEや事故データがWeb脆弱性ほど長く蓄積されておらず、プロンプト・モデル・RAG・ツール・権限が結合されたシステムリスクが急速に変化しています。そのため、公開候補と専門家の判断、現場フィードバックの比重が大きいです。Web Top 10の数値をLLMリストにもそのまま適用したと説明するのは誤りです。

では、「1位」は発生件数が最も多いという意味なのか

いいえ、違います。Prompt InjectionがLLM01であるという事実だけで、全世界の侵害事故の正確に何パーセントを占めるかを言うことはできません。公開された母集団と事故件数のみを利用して計算された保険統計のような順位ではないからです。

LLM01は、以下を総合した優先順位として理解する必要があります。

  • 多様なLLMアプリケーション構造で繰り返し現れるか
  • 影響範囲がデータ漏洩、権限誤用、後続システム侵害につながる可能性があるか
  • 実務者が現在重要視して観察しているか
  • 他のリスクの攻撃経路またはトリガーポイントとなるか
  • 独立したカテゴリとして説明し、対応指針を提供する価値があるか

したがって、LLM07がLLM03よりも重要度が低いとか、LLM10だけを解決すれば前の9つよりも安全だというように読むべきではありません。番号は点検順序を立てるのに役立ちますが、実際の危険度は組織のデータ、機能、権限、デプロイ構造によって異なります。

企業ではどのように活用すべきか

Top 10をそのまま規制遵守チェックリストとしてコピーするのではなく、脅威モデリングの出発点として使用すべきです。

1. システム構成要素にリスクをマッピングする

사용자 입력 → Prompt Injection
모델·데이터 공급망 → Supply Chain, Data and Model Poisoning
RAG 검색 → Vector and Embedding Weaknesses
출력 후속 처리 → Improper Output Handling
도구 호출과 권한 → Excessive Agency
로그·응답·학습 데이터 → Sensitive Information Disclosure
토큰·GPU·API 비용 → Unbounded Consumption

2. 組織への影響と露出度を再評価する

社内知識検索チャットボットと、決済・アカウント変更が可能なエージェントの優先順位は異なります。各項目について、データ機密性、外部入力露出、モデルが持つ権限、自動実行範囲、検出可能性、被害復旧費用を評価する必要があります。

3. Top 10以外のリスクも維持する

10項目は境界であり、全体宇宙ではありません。モデル窃取、個人情報規制、偏向、著作権、可用性、モデルアップデート、サプライヤー依存など、組織にとって重要なリスクが現在のリストの独立項目ではない可能性があります。OWASP AI Security and Privacy Guide、MITRE ATLAS、NIST AI RMFと内部脅威モデルを併用する必要があります。

4. バージョンと出典を文書に記録する

ポリシーやチェックリストには、「OWASP LLM Top 10」とだけ書かずに、OWASP Top 10 for LLM Applications 2025のようにバージョンを明記する必要があります。以前のバージョンではInsecure Plugin Design、Model Theft、Overrelianceが独立項目でしたが、2025年版では名称と範囲が再編されました。

限界まで理解してこそ適切に使える

コミュニティ合意方式は、新しいリスクを迅速に反映し、一企業の製品利害に依存しないという利点があります。逆に、参加者の構成や投票時期によって優先順位が変わりうるほか、公開事故が少ない領域では専門家の判断の比重が大きくなります。候補の名前と範囲をどのように統合するかも順位に影響を与えます。

したがって、次の二つの文はどちらも避けるのが良いでしょう。

「OWASPが統計的に証明したので、この10項目が全世界のLLM事故の正確な順序である。」

>

「投票で作られたものだから、根拠のない人気順位に過ぎない。」

実際のプロセスはその中間にあります。公開候補の提案とコミュニティ投票があり、データと実際の現場フィードバックが検討され、責任者と貢献者が項目を整理しました。同時に、最終順位を完全に再現できる詳細な計量モデルは公開資料では確認しにくいです。

まとめ

OWASP Top 10 for LLM 2025は、既存リストレビュー → 新規候補公募 → 候補投票 → 項目統合と圧縮 → データ分析と順位投票 → 専門家文書整理 → 公開レビューを経て作成されました。誰かが恣意的に定めた非公開リストでもなく、単一の事故統計だけを並べた順位でもありません。

どこで確認するかという質問には、次の4つが核心的な答えです。

  1. 最終リストと改訂趣旨は2025年版PDFで確認する。
  2. 選定段階と日程はv2アップデートとGitHub Wikiロードマップで確認する。
  3. 候補と当時の投票痕跡は新規提出Wikiと2024年7月ニュースレターで確認する。
  4. 発行後の変更と議論はGitHub Issues、Pull RequestsとCommit Historyで確認する。

そして、最も重要な解釈はこれです。

OWASP Top 10 for LLMは、発生件数だけで確定された絶対的な順位ではなく、急速に変化するLLMセキュリティ環境において、コミュニティの投票・データ・現場経験を組み合わせて作成された優先点検リストである。

このリストをセキュリティの終わりとして使用するのではなく、私たちのシステムのデータと権限、RAGとAgent構造に合った脅威モデリングを開始するための共通言語として使用するのが最も正しい活用法です。

参考文献


Comments

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です