본 논문은 대규모 언어 모델(LLM)을 인간과 정렬하는 문제를 다룬다. 기존의 다목적 최적화 접근 방식은 인간의 의사결정 방식을 간과하는데, 본 논문은 인간의 제한된 합리성(bounded rationality)에 기반한 만족화 전략(satisficing strategy)을 고려하여 LLM 정렬 문제를 해결한다. 주요 목표를 최대화하면서 부차적 기준에 대한 임계값 제약 조건을 만족시키는 추론 시간 프레임워크인 SITAlign을 제안한다. 이론적 분석을 통해 만족화 기반 추론 정렬 접근 방식의 최적화되지 않은 정도(sub-optimality bound)를 도출하고, 다양한 벤치마크에 대한 실험을 통해 SITAlign의 성능을 검증한다. PKU-SafeRLHF 데이터셋에서 유용성을 극대화하고 무해성에 대한 임계값을 유지하는 실험 결과, SITAlign은 최첨단 다목표 디코딩 전략보다 유용성 보상에 대한 GPT-4 승률에서 22.3%의 성능 향상을 보였다.
시사점, 한계점
•
시사점:
◦
인간의 제한된 합리성을 고려한 만족화 전략 기반의 LLM 정렬 프레임워크 SITAlign 제시
◦
다목표 최적화의 한계를 극복하고 실제 인간의 의사결정 과정에 더 근접한 정렬 방법 제시
◦
이론적 분석을 통해 SITAlign의 성능 보장 및 실험적 결과를 통해 우수한 성능 검증
◦
PKU-SafeRLHF 데이터셋에서 기존 최고 성능 대비 유의미한 성능 향상을 달성
•
한계점:
◦
SITAlign의 성능은 특정 데이터셋 및 벤치마크에 의존적일 수 있음. 다양한 데이터셋과 벤치마크에 대한 추가적인 실험이 필요함.
◦
임계값 설정의 민감도에 대한 추가적인 분석이 필요함. 임계값 설정에 따라 성능이 크게 달라질 수 있음.
◦
만족화 전략이 모든 유형의 LLM 정렬 문제에 적용 가능한지에 대한 추가적인 연구가 필요함.
