Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Humans overrely on overconfident language models, across languages

Created by
  • Haebom

저자

Neil Rathi, Dan Jurafsky, Kaitlyn Zhou

개요

본 논문은 다양한 언어로 배포되는 대규모 언어 모델(LLM)의 응답이 불확실성과 한계를 정확하게 전달하도록 언어 간 보정이 중요함을 강조한다. 영문 기반 연구에서 LLM이 과신하는 경향이 사용자의 과도한 의존으로 이어진다는 점을 제시하며, 이는 언어 간에 인식 표지어(예: '나는 그것이 ~라고 생각한다')의 사용과 해석이 크게 다르기 때문에 다국어 환경에서는 더욱 심각한 문제가 된다. 본 연구는 5개 언어를 대상으로 다국어 LLM의 언어적 (오)보정, 과신, 과도한 의존의 위험성을 평가한다. 그 결과, 모든 언어에서 과도한 의존 위험이 높다는 것을 발견하였다. LLM이 생성하는 인식 표지어의 분포를 분석한 결과, LLM은 여러 언어에서 과신하는 경향을 보이며, 잘못된 응답에도 불구하고 강화 표현을 자주 생성하는 것으로 나타났다. 하지만 모델 생성은 언어 간 사용의 차이에 민감하게 반응하는데, 예를 들어 일본어에서는 불확실성 표현을 가장 많이 생성하고, 독일어와 중국어에서는 확신 표현을 가장 많이 생성한다. 또한, 언어 간 인간의 의존율을 측정한 결과, 의존 행동은 언어 간에 차이가 있는 것으로 나타났다. 예를 들어, 참가자들은 영어보다 일본어에서 불확실성 표현을 무시하고(즉, '회피' 기능을 무시하고) 해당 표현이 포함된 생성 결과를 더 신뢰하는 경향이 있었다. 결론적으로, 본 연구는 여러 언어에서 과신하는 모델 생성에 대한 의존 위험이 높다는 것을 시사하며, 다국어 언어 보정의 어려움을 강조하고 문화적, 언어적으로 맥락화된 모델 안전성 평가의 중요성을 강조한다.

시사점, 한계점

시사점:
다국어 환경에서 LLM의 과신 및 과도한 의존 위험을 밝힘.
언어 간 LLM의 불확실성 표현 생성 및 인간의 해석 차이를 제시.
문화적, 언어적 맥락을 고려한 LLM 안전성 평가의 중요성 강조.
한계점:
분석에 사용된 언어의 수가 제한적(5개 언어).
인간 참가자의 의존율 측정에 대한 자세한 방법론이 부족할 수 있음.
특정 문화적 배경에 대한 고려가 더 필요할 수 있음.
👍