Scaling Laws For Scalable Oversight
Created by
- Haebom
Category
Empty
저자
Joshua Engels, David D. Baek, Subhash Kantamneni, Max Tegmark
개요
약한 AI 시스템이 강한 AI 시스템을 감독하는 '확장 가능한 감독'은 미래 초지능 시스템을 제어하기 위한 핵심 전략으로 제안되었지만, 확장 가능한 감독 자체의 확장성이 불분명하다. 본 논문은 감독자의 능력과 감독 대상 시스템의 능력에 따라 성공적인 감독 확률을 정량화하는 프레임워크를 제안한다. 특히, 감독을 능력 불일치 플레이어 간의 게임으로 모델링하고, 감독 특정 Elo 점수를 일반 지능의 조각별 선형 함수로 정의한다. 님(Nim) 게임 변형으로 프레임워크를 검증하고, 마피아, 토론, 백도어 코드, 워게임 등 4가지 감독 게임에 적용하여 도메인 성능이 일반 AI 시스템 능력에 따라 어떻게 달라지는지 근사하는 스케일링 법칙을 찾는다. 또한, 신뢰할 수 있는 모델이 신뢰할 수 없는 더 강력한 모델을 감독하는 '중첩 확장 가능한 감독'(NSO)에 대한 이론적 연구를 수행하여 NSO가 성공하는 조건을 파악하고, 감독 성공 확률을 최대화하기 위한 최적의 감독 수준 수를 수치적으로 (일부 경우 분석적으로) 도출한다.
시사점, 한계점
•
확장 가능한 감독의 성공 확률을 정량화하는 프레임워크 제안.
•
다양한 감독 게임을 통해 프레임워크를 검증하고, 스케일링 법칙을 발견.
•
중첩 확장 가능한 감독(NSO)의 성공 조건을 파악하고, 최적의 감독 수준 수를 도출.
•
마피아, 토론, 백도어 코드, 워게임에서 NSO 성공률 분석.
•
일반적인 Elo 갭 400에서 마피아는 13.5%, 토론은 51.7%, 백도어 코드는 10.0%, 워게임은 9.4%의 NSO 성공률을 보임.
•
강력한 시스템을 감독할 때 성공률 감소.
