Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Epistemic Alignment: A Mediating Framework for User-LLM Knowledge Delivery

Created by
  • Haebom

저자

Nicholas Clark, Hua Shen, Bill Howe, Tanushree Mitra

개요

본 논문은 대규모 언어 모델(LLM)을 활용한 지식 획득 과정에서 사용자의 정보 제시 방식에 대한 선호도를 효과적으로 명시할 수 없는 현실적인 문제를 다룬다. 사용자가 LLM에게 "신뢰할 수 있는 출처를 인용하라", "적절한 불확실성을 표현하라", "다양한 관점을 포함하라"와 같은 요구를 할 때, 현재 인터페이스는 이러한 선호도를 체계적으로 명시할 방법을 제공하지 못한다. 이로 인해, 효과 측정에 기반하지 않고 신뢰 관계를 통해 공유되는 커뮤니티 특유의 복사된 프롬프트인 '프롬프트 공유 전통'이 발생한다. 논문에서는, 증거 질 평가 및 증언 의존성 교정과 같은 인식론적 문헌에서 파생된 10가지 지식 전달 과제로 구성된 '인식론적 정렬 프레임워크'를 제안한다. 이 프레임워크는 사용자의 요구와 시스템의 기능 사이의 체계적인 중개자 역할을 하며, 사용자가 원하는 것과 시스템이 제공하는 것 사이의 간극을 메울 공통 어휘를 만든다. 온라인 커뮤니티에서 공유되는 사용자 지정 프롬프트와 개인화 전략에 대한 주제 분석을 통해, 사용자들이 각 과제를 해결하기 위해 정교한 해결책을 개발하고 있음을 발견했다. 또한, OpenAI와 Anthropic과 같은 두 개의 주요 모델 제공업체에 대한 내용 분석을 통해, 이러한 제공업체가 식별된 과제를 부분적으로 해결했지만, 인식론적 선호도를 명시하기 위한 적절한 메커니즘을 구축하지 못하고, 선호도가 구현되는 방식에 대한 투명성이 부족하며, 선호도가 준수되었는지 확인하기 위한 검증 도구를 제공하지 않는다는 것을 보여준다. AI 개발자에게는 다양한 지식 접근 방식을 지원하기 위한 구체적인 지침을 제공하고, 사용자에게는 모든 사람에게 적용되는 방식이 아닌 특정 요구에 맞는 정보 전달을 목표로 한다.

시사점, 한계점

시사점:
인식론적 정렬 프레임워크는 사용자의 다양한 지식 획득 선호도를 명확히 표현하고 LLM과의 상호작용을 개선할 수 있는 구체적인 방법을 제공한다.
LLM 개발자들에게 사용자의 인식론적 요구사항을 충족시키기 위한 시스템 설계에 대한 명확한 가이드라인을 제시한다.
사용자들이 LLM을 통해 더욱 효과적이고 정확한 정보를 얻을 수 있도록 돕는다.
현재 LLM 인터페이스의 한계점을 명확하게 제시하고 개선 방향을 제시한다.
한계점:
제안된 프레임워크의 실제 효용성과 적용 가능성에 대한 추가적인 실증 연구가 필요하다.
프레임워크의 10가지 과제가 모든 사용자의 요구사항을 포괄적으로 다루는지에 대한 추가적인 검토가 필요하다.
OpenAI와 Anthropic 두 기업만을 대상으로 분석하여 일반화에 대한 한계가 존재한다.
프레임워크의 구현 및 사용에 대한 실질적인 어려움에 대한 논의가 부족하다.
👍