Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Epistemic Diversity and Knowledge Collapse in Large Language Models

Created by
  • Haebom

저자

Dustin Wright, Sarah Masud, Jared Moore, Srishti Yadav, Maria Antoniak, Chan Young Park, Isabelle Augenstein

LLM 지식 붕괴에 대한 연구

개요

본 논문은 대규모 언어 모델(LLM)이 획일적인 텍스트를 생성하는 경향이 있으며, 이는 시간이 지남에 따라 접근 가능한 정보의 범위가 축소되는 지식 붕괴의 위험을 초래할 수 있음을 지적한다. 기존 연구의 한계를 극복하기 위해, 본 논문은 LLM 출력물의 실제 세계 주장의 다양성, 즉 '인식적 다양성'을 측정하는 새로운 방법을 제시하고, 이를 통해 LLM 지식 붕괴에 대한 광범위한 실증 연구를 수행한다. 27개의 LLM, 12개 국가를 포괄하는 155개의 주제, 실제 사용자 채팅에서 얻은 200개의 프롬프트 변형을 테스트했다.

시사점, 한계점

최신 모델이 더 다양한 주장을 생성하는 경향이 있지만, 거의 모든 모델이 기본적인 웹 검색보다 인식적 다양성이 떨어진다.
모델 크기는 인식적 다양성에 부정적인 영향을 미치는 반면, 검색 증강 생성(RAG)은 긍정적인 영향을 미친다. RAG의 개선 정도는 문화적 맥락에 따라 다르다.
전통적인 지식 출처(위키피디아)와 비교했을 때, 국가별 주장은 현지 언어보다 영어를 더 많이 반영하여 인식적 표현의 격차를 보여준다.
👍