# The Fools are Certain; the Wise are Doubtful: Exploring LLM Confidence in Code Completion

### 저자

Zoe Kotti, Konstantina Dritsa, Diomidis Spinellis, Panos Louridas

### 💡 개요

본 연구는 코드 생성에서 대규모 언어 모델(LLM)의 신뢰도를 평가하기 위해 프로그래밍 언어, 모델, 데이터셋 전반에 걸쳐 코드 복잡도(perplexity)를 측정합니다. 연구 결과, 정적 타입 언어가 동적 타입 언어보다 낮은 복잡도를 보였으며, LLM의 종류에 따라 복잡도가 달라지고 언어별 상대 순위는 비교적 안정적임을 발견했습니다. 또한, 코드 주석이 복잡도를 증가시키지만 언어별 순위에는 큰 영향을 미치지 않음을 확인했습니다.

### 🔑 시사점 및 한계

- LLM 기반 코드 완성 도구의 성능과 신뢰도를 예측하는 데 코드 복잡도 측정의 유용성을 제시합니다.

- 특정 프로그래밍 언어 및 모델 선택이 코드 완성 결과에 미치는 영향을 이해하는 데 도움을 줍니다.

- 다양한 프로그래밍 언어와 LLM에 대한 포괄적인 벤치마크 데이터를 제공하여 연구자와 개발자에게 유용한 정보를 제공합니다.

- 본 연구는 코드 복잡도를 LLM 신뢰도의 프록시로 사용했으며, 실제 코드의 기능적 정확성이나 보안 취약점과 직접적으로 일치하지 않을 수 있습니다.

- 향후 연구에서는 더 다양한 종류의 코드와 LLM을 포함하고, 실제 개발 환경에서의 LLM 신뢰도와 복잡도 간의 상관관계를 더 깊이 탐구할 필요가 있습니다.

---

[PDF 보기](https://arxiv.org/pdf/2508.16131)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).