本論文では、サイバーセキュリティ脅威分析にますます使用されている大規模言語モデル（LLM）の信頼性と安全性の問題について説明します。 2025年にのみ21,000を超える脆弱性が公開されているため、手動分析は不可能であり、拡張可能で検証可能なAIサポートが重要です。 LLM は、学習データの制限により新たに登場する脆弱性に対処するのが困難です。 Retrieval-Augmented Generation (RAG) は最新の情報を提供することでこれらの制限を緩和することができますが、LLM が検索された情報にどの程度依存しているか、検索された情報が意味があり正確かどうかは不明です。このような不確実性は、セキュリティアナリストを誤解させ、パッチ優先順位を誤って決定し、セキュリティリスクを高める可能性があります。したがって、この論文では、LLM Embedding-based Attribution（LEA）を提案し、脆弱性悪用分析に対する生成された応答を分析します。 LEAは、生成された応答における内部知識と検索されたコンテンツの相対的な寄与を定量化します。 3つの最先端のLLMを使用して、2016年から2025年の間に公開された500の重要な脆弱性について、3つのRAG設定（有効、一般、無効）でLEAを評価しました。結果は、LEAが大規模モデルで95％以上の精度で非検索、一般検索、有効検索シナリオ間の明確な違いを検出できることを示しています。最後に、誤った脆弱性情報の検索による制限を示し、脆弱性分析のためのLLMおよびRAGへの盲目的な依存に関する警告をサイバーセキュリティコミュニティに提示します。 LEAは、セキュリティアナリストにRAG強化されたワークフローを監査するための指標を提供し、サイバーセキュリティ脅威分析におけるAIの透明で信頼性の高い展開を改善します。
