Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Impact of Input Order Bias on Large Language Models for Software Fault Localization

Created by
  • Haebom
Category
Empty

저자

Md Nakhla Rafi, Dong Jae Kim, Tse-Hsun Chen, Shaowei Wang

개요

본 논문은 대규모 언어 모델(LLM)을 활용한 소프트웨어 오류 국재화(FL)에서 입력 순서와 컨텍스트 크기의 영향을 조사한다. Java와 Python 프로젝트를 대상으로, 입력 순서를 다르게 하여(정답이 먼저 나오는 경우와 마지막에 나오는 경우) LLM의 FL 성능을 평가했다. 결과적으로 입력 순서에 강한 편향이 존재함을 확인했으며, 컨텍스트 크기를 줄임으로써 이러한 편향을 완화할 수 있음을 보였다. 또한, 전통적인 FL 기법을 기반으로 한 입력 순서 정렬 방법을 탐색하여 DepGraph 기반 방법이 우수한 성능을 보임을 확인했다.

시사점, 한계점

시사점:
LLM을 이용한 소프트웨어 오류 국재화에서 입력 순서가 성능에 큰 영향을 미친다는 것을 밝혔다.
컨텍스트 크기 조절을 통해 입력 순서 편향을 완화할 수 있다.
DepGraph 기반의 입력 순서 정렬 방법이 효과적임을 제시했다.
LLM 기반 FL의 성능 향상을 위해 입력 구조화 및 적절한 순서 전략 선택의 중요성을 강조했다.
한계점:
특정 프로그래밍 언어(Java, Python)와 벤치마크에 국한된 연구 결과임.
다른 유형의 소프트웨어 오류 또는 다른 LLM에 대한 일반화 가능성에 대한 추가 연구가 필요함.
DepGraph 외 다른 전통적인 FL 기법과의 비교 분석이 추가적으로 필요할 수 있음.
👍