본 논문은 대규모 언어 모델(LLM)을 이용한 소프트웨어 결함 위치 파악(Fault Localization, FL)에서 입력 순서와 컨텍스트 크기의 영향을 조사한다. Java와 Python 프로젝트를 포함하는 두 개의 벤치마크를 사용하여 다양한 입력 순서(완벽한 순서, 최악의 순서 등)에 따른 LLM 성능을 평가하였다. 실험 결과, 입력 순서에 따른 강한 편향(order bias)이 존재함을 보였다. Java 프로젝트의 경우 입력 순서를 반대로 하면 Top-1 FL 정확도가 57%에서 20%로 감소하였고, Python 프로젝트의 경우 38%에서 약 3%로 감소하였다. 하지만 입력을 더 작은 컨텍스트로 분할하면 이러한 편향이 완화되어 성능 차이가 감소하였다. 메서드 이름을 의미론적으로 대체하는 실험을 통해 이러한 편향이 훈련 데이터의 기억 때문이 아니라 입력 순서 자체의 영향 때문임을 확인하였다. 또한, 기존 FL 기법을 기반으로 한 순서 정렬 방법을 탐색하여 DepGraph 기반 순서 정렬이 CallGraph(DFS)보다 성능이 우수함을 보였다. 결론적으로, LLM의 FL 성능 향상을 위해서는 입력 구조화, 컨텍스트 효율적인 관리, 적절한 순서 정렬 전략 선택이 중요함을 강조한다.
