[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Towards Formal Verification of LLM-Generated Code from Natural Language Prompts

Created by
  • Haebom

作者

Aaron Councilman, David Fu, Aryan Gupta, Chengxiao Wang, David Grove, Yu-Xiong Wang, Vikram Adve

概要

本論文では、自然言語記述に基づいてコードを生成する大規模言語モデル(LLM)のエラー問題を解決するために、形式的なクエリ言語を導入してユーザーの意図を明確にし、生成されたコードの正確性を検証するシステムであるAstrogatorを提案します。 AstrogatorはAnsibleプログラミング言語を対象としており、形式的なクエリ言語、Ansibleプログラムの動作を表す計算法、および検証に使用されるシンボリックインタプリタで構成されています。 21のコード生成タスクベンチマークでは、正確なコードが83%の場合に検証され、誤ったコードが92%の場合に識別されました。

Takeaways、Limitations

Takeaways:
LLMベースのコード生成の精度を高めるための新しいアプローチを提示します。
形式的な検証により、ユーザーの意図と生成されたコードの一致が確認できます。
プログラミング知識が不足しているユーザーも自然言語プログラミングを可能にする可能性。
Ansibleなどの特定の言語のコード生成と検証の効率の向上
Limitations:
AstrogatorはAnsible言語に特化しており、他のプログラミング言語への拡張性が限られている可能性があります。
ベンチマークの規模が比較的小さく、一般化に関するさらなる研究が必要です。
形式的なクエリ言語の使いやすさとユーザー学習コストの考慮が必要です。
あらゆる種類のコードエラーを完全に検出できない可能性があります(精度83%、92%は完全な精度を意味しません)。
👍