대규모 언어 모델(LLM)이 불공정한 결정을 내리는 문제에 대한 연구를 수행하고, 편향된 출력을 생성하는 메커니즘을 탐구합니다. Direct-Answer (DA) 프롬프팅이 Chain-of-Thought (CoT) 프롬프팅보다 편향을 유발한다는 것을 발견하고, 각 토큰의 영향을 개별 어텐션 헤드로 추적하는 토큰-헤드 기여 점수를 정의했습니다. DA 프롬프팅에서 활성화되고 CoT에서는 비활성화되는 소수의 편향 헤드를 식별하고, 이를 기반으로 DiffHeads라는 경량 디바이어싱 프레임워크를 제안했습니다. DiffHeads는 DA와 CoT 사이의 차등 활성화 분석을 통해 편향 헤드를 식별하고 선택적으로 마스크합니다.
시사점, 한계점
•
시사점:
◦
DA 프롬프팅이 LLM의 편향성을 증폭시키는 주요 원인임을 밝힘.
◦
어텐션 헤드의 활성화를 분석하여 편향 발생 메커니즘을 규명.
◦
DiffHeads라는 효과적인 디바이어싱 프레임워크 제안 (모델 유틸리티 저하 없이 편향 감소).
