Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Representations of Fact, Fiction and Forecast in Large Language Models: Epistemics and Attitudes

Created by
  • Haebom

저자

Meng Li, Michael Vrazitulis, David Schlangen

개요

본 논문은 대규모 언어 모델(LLM)이 불확실한 실제 환경에서 사실과 신뢰도를 평가하여 적절한 발화를 생성하는 데 어려움을 겪는다는 점을 지적한다. 특히, LLM이 불확실성을 표현하는 능력, 즉 인식태(epistemic modality)에 대한 언어적 지식을 통제된 이야기를 사용하여 평가한다. 실험 결과, LLM이 인식태 표현을 생성하는 성능은 제한적이고 안정적이지 않으며, 따라서 LLM이 생성하는 불확실성 표현이 항상 신뢰할 수 있는 것은 아님을 보여준다. 따라서 불확실성을 인식하는 LLM을 구축하려면 LLM의 인식태에 대한 의미론적 지식을 풍부하게 해야 한다는 결론을 제시한다.

시사점, 한계점

시사점: LLM의 불확실성 표현 능력의 한계를 밝히고, 인식태에 대한 의미론적 지식의 중요성을 강조하여 불확실성 인식 LLM 개발 방향을 제시한다.
한계점: 통제된 이야기를 사용한 실험으로 실제 세계의 복잡한 상황에서의 LLM 성능을 완전히 반영하지 못할 수 있다. 또한, 인식태에 대한 의미론적 지식을 풍부하게 하는 구체적인 방법론에 대해서는 제시하지 않는다.
👍