[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

A Study of LLMs' Preferences for Libraries and Programming Languages

Created by
  • Haebom

作者

Lukas Twist, Jie M. Zhang, Mark Harman, Don Syme, Joost Noppen, Helen Yannakoudakis, Detlef Nauck

概要

本論文では、8つの多様な大規模言語モデル(LLM)を対象に、コード生成時のライブラリとプログラミング言語の好みの最初の実証研究を行いました。研究の結果、LLMはNumPyなどの広く使用されているライブラリを過度に使用する傾向があり(最大48%の場合は不要に使用)、Pythonをデフォルト言語として好む傾向(Pythonが最適な言語ではない高性能プロジェクトの初期化作業でも58%の場合はPythonを選択しています)。これは、LLMが適合性と作業固有の最適性よりも親しみやすさと人気に優先順位を置くため、セキュリティの脆弱性と技術負債を引き起こし、新しく開発されたより適切なツールと言語への暴露を制限する可能性があります。したがって、ソフトウェア開発ワークフローにLLMを責任を持って統合するには、これらのバイアスを理解して解決することが不可欠です。

Takeaways、Limitations

Takeaways:
LLMがコード生成時に特定のライブラリとプログラミング言語に偏りがあることを最初に実証的に明らかにします。
LLMのライブラリと言語の選択は、ソフトウェア開発慣行に大きな影響を与える可能性があることを示唆しています。
LLMの偏りによるセキュリティの脆弱性と技術負債の発生の可能性
LLMの責任ある使用のためのバイアス解決と適合性を考慮する重要性を強調します。
Limitations:
研究に含まれるLLMの数は限られているかもしれません。
さまざまなタイプのコード生成タスクの一般化の可能性に関するさらなる研究が必要
LLMの偏りを解決するための具体的な方法論の提示の欠如。
👍