Toward Reliable Scientific Hypothesis Generation: Evaluating Truthfulness and Hallucination in Large Language Models
Created by
Haebom
저자
Guangzhi Xiong, Eric Xie, Corey Williams, Myles Kim, Amir Hassan Shariatmadari, Sikun Guo, Stefan Bekiranov, Aidong Zhang
개요
본 논문은 대규모 언어 모델(LLM)이 과학적 가설 생성에 유용하지만, 생성된 가설의 진실성 평가가 어렵다는 문제를 다룬다. LLM의 환각 문제로 인해 그럴듯하지만 사실이 아닌 가설이 생성될 수 있기 때문이다. 이를 해결하기 위해, LLM이 생성한 과학적 가설의 진실성을 평가하는 벤치마크 TruthHypo와 지식 기반 환각 검출기 KnowHD를 제시한다. 실험 결과, LLM은 진실된 가설 생성에 어려움을 겪는다는 것을 보여주고, KnowHD의 지식 기반 점수가 진실된 가설을 걸러내는 데 효과적임을 확인한다. Human evaluation을 통해 KnowHD의 유용성을 추가적으로 검증한다. 데이터와 소스 코드는 깃헙에 공개되어 있다.
시사점, 한계점
•
시사점:
◦
LLM의 과학적 가설 생성 능력에 대한 체계적인 평가를 위한 벤치마크(TruthHypo)와 검출기(KnowHD)를 제공.
◦
LLM의 환각 문제가 과학적 가설 생성에 미치는 영향을 분석하고, 이를 완화할 수 있는 방법 제시.
◦
KnowHD를 활용하여 진실된 가설을 효과적으로 식별하고 과학적 발견을 가속화할 수 있는 가능성 제시.
