Reflections on the Reproducibility of Commercial LLM Performance in Empirical Software Engineering Studies
Created by
Haebom
Category
Empty
저자
Florian Angermeir, Maximilian Amougou, Mark Kreitz, Andreas Bauer, Matthias Linhuber, Davide Fucci, Fabiola Moyon C., Daniel Mendez, Tony Gorschek
개요
본 논문은 대규모 언어 모델(LLM) 연구의 재현 가능성을 분석한다. ICSE 2024와 ASE 2024에 발표된 86개의 LLM 중심 연구를 조사하여, 연구 결과의 재현 가능성 및 그에 영향을 미치는 요인들을 파악한다. 특히 18개의 연구에서 연구 산출물을 제공했고 OpenAI 모델을 사용했으며, 이들 연구를 재현하려는 시도를 수행했다.