[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

AI-Assisted Fixes to Code Review Comments at Scale

Created by
  • Haebom

作者

Chandra Maddila, Negar Ghorbani, James Saindon, Parth Thakkar, Vijayaraghavan Murali, Rui Abreu, Jingyue Shen, Brian Zhou, Nachiappan Nagappan, Peter C. Rigby

概要

Metaは毎週数万件のコードレビューコメントを処理します。本論文では、大規模なコードレビューアコメントに対するAIサポートの修正を提供するMetamate for Code Review(MetaMateCR)システムを開発したプロセスと結果を紹介します. 64,000のデータポイントを使用してLlamaモデルを微調整し、オフライン結果が満足のいくレベルに達した後に本番環境に展開しました。 GPT-4oとの比較により、開発されたLargeLSFTモデルは、正確なパッチを生成する割合が68%で、GPT-4oより9%p高く、より最新のHack関数を使用することがわかりました。安全性テストにより、AIパッチ提案がレビュー時間に与える影響を評価し、UXを改善してレビュー時間遅延の問題を解決しました。実稼働環境のデプロイの結果、LargeLSFTモデルは、GPT-4oよりもActionableToApplied比が9.2%p向上した19.7%を記録しました。

Takeaways、Limitations

Takeaways:
大規模コードレビュー環境におけるAIベースの自動パッチ生成システムの効果的な構築と運用可能性を示す
安全性テストとUX改善によるAIシステムの実際の適用性を高める方法を提示
LlamaモデルをベースにGPT-4oを凌駕する性能を達成。
AI支援システムの成功した大規模展開事例の提示
Limitations:
Meta内部データに基づく結果であるため、他の環境での一般化の可能性は限られている可能性があります。
安全性テストの過程で初期UX設計の問題が明らかになったことは、今後の類似システム開発には注意が必要であることを示唆。
ActionableToAppliedの割合が20%未満で、すべてのコードレビューコメントに対してAIが効果的にパッチを生成するわけではありません。
👍