Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Estimating LLM Consistency: A User Baseline vs Surrogate Metrics

Created by
  • Haebom

저자

Xiaoyuan Wu, Weiran Lin, Omer Akgul, Lujo Bauer

개요

본 논문은 대규모 언어 모델(LLM)의 환각 및 프롬프트 변화에 대한 민감성으로 인해 발생하는 일관성 없는 또는 신뢰할 수 없는 텍스트 생성 문제를 다룹니다. 기존의 LLM 응답 일관성 측정 방법들은 재샘플링된 응답 풀 내에서 응답의 확률 또는 내부 상태나 로짓에 의존하는데, 이러한 방법들이 사람들이 인식하는 LLM 응답의 일관성을 얼마나 잘 근사하는지는 불분명했습니다. 본 연구는 2,976명을 대상으로 한 사용자 연구를 통해 기존 방법들이 사용자의 LLM 일관성 인식을 잘 반영하지 못함을 밝혔습니다. 따라서, 로짓 기반 앙상블 방법을 제안하여 LLM 일관성을 추정하고, 이 방법이 기존 최고 성능 메트릭과 유사한 성능을 보임을 보여줍니다. 결론적으로, 인간 평가 없이 LLM 일관성을 추정하는 방법의 불완전성을 지적하며, 인간 입력을 통한 평가의 광범위한 사용을 제안합니다.

시사점, 한계점

시사점: LLM 일관성 측정에 대한 기존 방법의 한계를 밝히고, 인간의 인식과 더 잘 일치하는 새로운 로짓 기반 앙상블 방법을 제시했습니다. LLM 응답의 신뢰성 향상을 위한 인간 평가의 중요성을 강조합니다.
한계점: 2,976명의 사용자 연구는 상당한 규모이지만, 인구 통계학적 다양성이나 다양한 LLM 및 프롬프트 유형에 대한 일반화 가능성에 대한 추가적인 연구가 필요합니다. 제안된 방법의 성능이 기존 최고 성능 메트릭과 유사하지만, 여전히 완벽한 인간 인식과의 일치는 아닙니다.
👍