# Identifying the Achilles' Heel: An Iterative Method for Dynamically Uncovering Factual Errors in Large Language Models

### 저자

Wenxuan Wang, Yuk-Kit Chan, Zixuan Ling, Juluan Shi, Youliang Yuan, Jen-tse Huang, Yifei Zhang, Wenxiang Jiao, Zhaopeng Tu, Michael R. Lyu

### 💡 개요

본 논문은 ChatGPT와 같은 대규모 언어 모델(LLM)이 흔히 발생하는 사실적 오류를 효과적으로 식별하기 위한 완전 자동화된 프레임워크인 HalluHunter를 제안합니다. HalluHunter는 지식 그래프 기반 접근 방식을 통해 다양한 유형의 질문을 생성하고, LLM이 자주 오류를 범하는 부분에 적응적으로 집중하는 반복적인 프로세스를 사용합니다. 이를 통해 기존 평가 방법의 한계를 극복하고 LLM의 사실 오류를 체계적으로 발견합니다.

### 🔑 시사점 및 한계

- LLM의 사실적 부정확성을 완전히 자동화된 방식으로 탐지하는 새로운 방법론을 제시하여, 기존의 수작업 또는 제한적인 평가 방식의 한계를 극복할 수 있습니다.

- 제안된 적응형 질문 생성 방식은 LLM의 취약점을 더욱 효과적으로 공략하고, 벤치마킹 과정에서 LLM의 사실성 평가 범위를 넓히는 데 기여할 수 있습니다.

- 현재 LLM의 지식 그래프 추출 및 질의 생성 방식이 특정 유형의 사실 오류 탐지에 편향될 수 있으며, 복잡하거나 추론이 많이 필요한 오류는 여전히 탐지하기 어려울 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2401.00761)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).