Societal Alignment Frameworks Can Improve LLM Alignment
Created by
- Haebom
Category
Empty
저자
Karolina Stanczak, Nicholas Meade, Mehar Bhatia, Hattie Zhou, Konstantin Bottinger, Jeremy Barnes, Jason Stanley, Jessica Montgomery, Richard Zemel, Nicolas Papernot, Nicolas Chapados, Denis Therien, Timothy P. Lillicrap, Ana Marasovic, Sylvie Delacroix, Gillian K. Hadfield, Siva Reddy
개요
본 논문은 대규모 언어 모델(LLM)의 정렬(alignment) 문제를 다룬다. 기존의 LLM 정렬 방법들은 인간의 가치와 기술적 접근 방식 간의 차이로 인해 목표가 잘못 설정되는 경우가 많다는 점을 지적한다. 이러한 문제는 계약의 불완전성과 모든 시나리오를 고려한 모델 개발자와 모델 간의 계약을 명시하는 어려움에서 비롯된다. 따라서 본 논문은 사회적, 경제적, 계약적 정렬 프레임워크에서 얻은 통찰력을 LLM 정렬에 통합해야 한다고 주장하며, 불확실성의 역할과 그러한 불확실성이 LLM 정렬에 어떻게 나타나는지 조사한다. 또한, LLM 정렬 목표의 불완전한 명세를 완벽하게 명세화하는 것이 아니라 기회로 보는 대안적인 관점을 제시하고, 기술적 개선 외에도 참여적인 정렬 인터페이스 디자인의 필요성을 논의한다.
시사점, 한계점
•
시사점:
◦
사회적, 경제적, 계약적 정렬 프레임워크를 LLM 정렬에 적용하는 새로운 접근 방식 제시
◦
LLM 정렬에서의 불확실성의 중요성 강조 및 그 영향 분석
◦
LLM 정렬 목표의 불완전한 명세를 기회로 활용하는 대안적 관점 제시
◦
참여적인 정렬 인터페이스 디자인의 필요성 강조
•
한계점:
◦
사회적, 경제적, 계약적 정렬 프레임워크를 LLM 정렬에 적용하는 구체적인 방법론 제시 부족
◦
제시된 대안적 관점의 실현 가능성 및 한계에 대한 논의 부족
◦
참여적인 정렬 인터페이스 디자인에 대한 구체적인 설계 및 평가 방안 제시 부족
