Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Hallucinate or Memorize? The Two Sides of Probabilistic Learning in Large Language Models

Created by
  • Haebom
Category
Empty

저자

Junichiro Niimi

개요

본 연구는 대규모 언어 모델(LLM)이 문헌 추천 시 가짜 논문을 생성하는 문제에 대해, 인용 횟수가 환각(hallucination) 발생에 미치는 영향을 분석한다. GPT-4.1을 사용하여 20개의 컴퓨터 과학 분야에서 100개의 인용구를 생성하고 수동으로 검증했다. 인용 횟수를 모델의 훈련 데이터 중복성 지표로 간주하여, 인용 횟수가 많을수록 사실적 정확도가 높고, 약 1,000회 이상 인용된 논문은 거의 그대로 암기됨을 확인했다. 또한, 내용이 유사한 여러 고빈도 인용 논문 사이에서 기억 간섭이 발생함을 발견했다.

시사점, 한계점

•
시사점:
◦
LLM의 문헌 추천 시 환각 현상은 모델의 지식이 생성된 것인지, 암기된 것인지에 따라 달라진다.
◦
인용 횟수는 사실적 정확도와 강한 상관관계를 보인다.
◦
고빈도 인용 논문은 거의 그대로 모델에 기억될 수 있다.
◦
메타데이터의 코사인 유사도를 통해 사실 일치도를 측정했다.
•
한계점:
◦
GPT-4.1 모델 한정된 실험 결과를 기반으로 한다.
◦
특정 분야(컴퓨터 과학)에 국한된 연구이다.
◦
인용 횟수를 훈련 데이터 중복성의 유일한 지표로 사용했다.
👍
Made with Slashpage