Prompting Fairness: Integrating Causality to Debias Large Language Models
Created by
- Haebom
Category
Empty
저자
Jingling Li, Zeyu Tang, Xiaoyu Liu, Peter Spirtes, Kun Zhang, Liu Leqi, Yang Liu
개요
본 논문은 대규모 언어 모델(LLM)이 생성하는 편향되고 차별적인 응답을 완화하기 위한 인과 관계 기반의 새로운 디바이싱 프레임워크를 제시합니다. 이 프레임워크는 사회적 정보가 LLM의 의사결정에 미치는 영향을 다양한 인과 경로를 통해 식별하는 새로운 관점을 제시하며, 이러한 인과적 통찰력을 활용하여 선택 메커니즘을 통한 원칙적인 프롬프트 전략을 제시합니다. 기존의 프롬프트 기반 디바이싱 기법들을 통합할 뿐만 아니라, 모델이 편향된 사회적 단서에 의존하는 대신 사실 기반 추론을 우선하도록 유도함으로써 편향을 줄이는 새로운 방향을 제시합니다. 다양한 도메인의 실제 데이터셋에 대한 광범위한 실험을 통해, 모델에 대한 블랙박스 접근만으로도 LLM 의사결정의 디바이싱에 효과적임을 입증합니다.
시사점, 한계점
•
시사점:
◦
LLM의 편향된 응답을 줄이기 위한 새로운 인과 관계 기반의 디바이싱 프레임워크 제시
◦
기존 프롬프트 기반 디바이싱 기법들을 통합하고 새로운 방향 제시
◦
블랙박스 접근만으로도 효과적인 디바이싱 가능성 입증
◦
사실 기반 추론을 강화하여 편향된 사회적 단서의 영향 감소
•
한계점:
◦
제시된 프레임워크의 일반화 가능성 및 다양한 LLM에 대한 적용성 추가 연구 필요
◦
실제 고위험 의사결정 상황에서의 효과 검증 필요
◦
프롬프트 엔지니어링에 대한 의존도가 여전히 존재할 가능성
◦
다양한 유형의 편향에 대한 포괄적인 대응 여부 추가 연구 필요
