CausalAbstain: Enhancing Multilingual LLMs with Causal Reasoning for Trustworthy Abstention
Created by
Haebom
저자
Yuxi Sun, Aoqi Zuo, Wei Gao, Jing Ma
개요
대규모 언어 모델(LLMs)은 언어 간 지식 격차를 보이는 경우가 많습니다. 지식 격차가 있을 때 LLM이 '자제'(abstain)하도록 유도하는 것은 다국어 환경에서 환각을 줄이는 유망한 전략입니다. 다국어 시나리오에 대한 기존의 자제 전략은 주로 LLM을 사용하여 다양한 언어로 피드백을 생성하고 자기 반성을 수행하는 데 의존합니다. 그러나 이러한 방법은 생성된 피드백의 부정확성과 편향으로 인해 악영향을 받을 수 있습니다. 이를 해결하기 위해 인과적 관점에서, 본 논문은 여러 생성된 피드백 응답을 사용할지 여부와 가장 유용한 응답을 식별하는 방법을 LLM이 결정하는 데 도움이 되는 CausalAbstain이라는 방법을 제시합니다. 광범위한 실험을 통해 CausalAbstain이 백과사전식 및 상식적 지식 QA 작업을 다루는 두 개의 벤치마크 데이터 세트에서 강력한 기준 모델을 능가하여 유용한 피드백을 효과적으로 선택하고 모국어(Casual-native) 및 다국어(Causal-multi) 설정에서 해석 가능성을 높인 자제 결정을 향상시킨다는 것을 보여줍니다. 코드와 데이터는 https://github.com/peachch/CausalAbstain에서 공개적으로 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
다국어 LLM의 환각 문제를 줄이기 위한 새로운 접근법인 CausalAbstain 제시.
◦
생성된 피드백의 부정확성 및 편향 문제를 인과적 관점에서 해결.
◦
모국어 및 다국어 설정 모두에서 향상된 자제 결정 및 해석 가능성 제공.
◦
두 개의 벤치마크 데이터 세트에서 기존 방법 대비 성능 향상을 실험적으로 검증.
◦
코드 및 데이터 공개를 통해 연구의 재현성 및 확장성 확보.
•
한계점:
◦
CausalAbstain의 성능은 사용된 피드백의 질에 의존적일 수 있음.
◦
특정 언어 또는 도메인에 편향된 데이터셋으로 훈련된 LLM에 대한 CausalAbstain의 일반화 성능 평가 필요.
