GPT and Prejudice: A Sparse Approach to Understanding Learned Representations in Large Language Models
Created by
Haebom
저자
Mariam Mahran, Katharina Simbeck
개요
대규모 언어 모델(LLM)의 해석 가능성을 높이기 위해, 제인 오스틴의 소설을 학습한 GPT 스타일 변환 모델에 희소 자동 인코더(SAE)를 적용하여 모델 표현과 학습 데이터 내의 구조, 주제 및 편향을 분석했습니다. 그 결과, 성별, 계층, 사회적 의무와 같은 핵심 서사와 개념을 반영하는 해석 가능한 특징을 발견했습니다.
시사점, 한계점
•
LLM과 SAE의 조합을 통해 복잡한 데이터 세트에 대한 확장 가능한 탐색을 가능하게 합니다.
•
학습 데이터 내의 편향을 발견하고 모델의 해석 가능성을 높이는 새로운 방법을 제시합니다.
•
제인 오스틴의 소설이라는 특정 도메인에 국한되어 다른 데이터 세트에 대한 일반화 가능성은 추가 연구가 필요합니다.
