# LogProber: Disentangling confidence from contamination in LLM responses

### 저자

Nicolas Yax, Pierre-Yves Oudeyer, Stefano Palminteri

### 개요

본 논문은 대규모 언어 모델(LLM) 평가 시 발생하는 데이터 오염 문제를 해결하기 위해 새로운 알고리즘인 LogProber를 제안합니다. 기존 연구들의 한계점을 극복하고자 답변보다는 질문에 대한 친숙성에 초점을 맞춰 블랙박스 환경에서 오염을 탐지하는 데 중점을 둡니다.  LogProber의 특징과 기존 방법과의 비교 분석, 그리고 다양한 오염 형태에 대한 탐지 성능을 보여줍니다.

### 시사점, 한계점

- **시사점:**

    - LLM 평가 시 데이터 오염 문제를 효과적으로 해결할 수 있는 새로운 방법 제시

    - 기존 방법의 한계점을 극복하고 블랙박스 환경에서도 적용 가능

    - 질문에 대한 친숙성에 초점을 맞춰 오염 탐지 성능 향상

    - 다양한 오염 형태에 대한 탐지 성능 비교 분석을 통해 알고리즘 설계의 중요성 강조

- **한계점:**

    - LogProber 알고리즘의 특정 오염 형태에 대한 탐지 성능 저하 가능성 존재

    - 알고리즘의 성능은 질문의 특성에 따라 영향을 받을 수 있음

    - 실제 LLM 평가 환경에서의 일반화 성능에 대한 추가적인 연구 필요

[PDF 보기](https://arxiv.org/pdf/2408.14352)

![https://i.imgur.com/uC45F9t.jpeg](https://i.imgur.com/uC45F9t.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).