Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

ETF: An Entity Tracing Framework for Hallucination Detection in Code Summaries

Created by
  • Haebom

作者

Kishan Maharaj, Vitobha Munigala, Srikanth G. Tamilselvam, Prince Kumar, Sayandeep Sen, Palani Kodeswaran, Abhijit Mishra, Pushpak Bhattacharyya

概要

本稿では、大規模言語モデル(LLM)を使用したコードサマリープロセスで発生する幻覚の問題を解決するために、新しいデータセットCodeSumEval(〜10Kサンプル)とエンティティ追跡フレームワーク(ETF)を提案します。 CodeSumEvalはコード要約サイケデリック検出のための専用データセットであり、ETFは静的プログラム分析を通じてコードエンティティを識別し、LLMを使用して生成されたコードサマリー内でこれらのエンティティと意図をマッピングして検証します。実験の結果、ETFは73%のF1スコアを達成し、コードサマリーの精度を評価し、サマリー内のエラーを局在化するのに有効であることを示した。

Takeaways、Limitations

Takeaways:
コードの要約で幻覚の問題を解決するための新しいデータセットとフレームワークの提示。
静的プログラム解析とLLMを組み合わせた独自のアプローチ提案
高いF1スコア(73%)を通じてETFの効果を実験的に証明。
コード要約の精度評価と誤差局在化
Limitations:
CodeSumEvalデータセットの規模(10Kサンプル)が比較的小さい場合があります。
ETFのパフォーマンスが特定のプログラミング言語やコードスタイル、LLMに依存する可能性。
さまざまな種類の幻覚をすべて検出することに制限がある可能性があります。
実際の環境での一般化パフォーマンスの追加検証が必要です。
👍