Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Reflections on the Reproducibility of Commercial LLM Performance in Empirical Software Engineering Studies

Created by
  • Haebom
Category
Empty

저자

Florian Angermeir, Maximilian Amougou, Mark Kreitz, Andreas Bauer, Matthias Linhuber, Davide Fucci, Fabiola Moyon C., Daniel Mendez, Tony Gorschek

개요

본 논문은 대규모 언어 모델(LLM) 연구의 재현 가능성을 분석한다. ICSE 2024와 ASE 2024에 발표된 86개의 LLM 중심 연구를 조사하여, 연구 결과의 재현 가능성 및 그에 영향을 미치는 요인들을 파악한다. 특히 18개의 연구에서 연구 산출물을 제공했고 OpenAI 모델을 사용했으며, 이들 연구를 재현하려는 시도를 수행했다.

시사점, 한계점

시사점:
LLM 기반 연구의 재현 가능성이 매우 낮음.
연구 산출물 제공, 특히 OpenAI 모델 사용 연구의 재현 시도가 중요함.
재현 가능한 연구를 위한 엄격한 연구 산출물 평가 및 견고한 연구 설계의 필요성 강조.
한계점:
ICSE 2024 및 ASE 2024 논문에 국한된 분석.
재현 시도에 사용된 방법론의 상세 정보가 제한적일 수 있음.
재현 실패 원인에 대한 깊이 있는 분석 부족 가능성.
👍