Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Weak-to-Strong Generalization under Distribution Shifts

Created by
  • Haebom
Category
Empty

저자

Myeongho Jeon, Jan Sobotka, Suhwan Choi, Maria Brbic

개요

RAVEN은 미래의 초인적인 모델의 행동을 정확하게 감독하는 것이 어려워짐에 따라, 약한 모델이 강한 모델을 효과적으로 감독할 수 있다는 약-강 일반화 현상에 주목합니다. 그러나 기존의 약-강 일반화는 분포 변화에 취약하여 강한 모델의 성능이 약한 감독자보다 나빠질 수 있음을 발견합니다. 이를 해결하기 위해 RAVEN은 강한 모델의 매개변수와 함께 약한 모델의 최적 조합을 동적으로 학습하는 강력한 약-강 일반화 프레임워크를 제안합니다. 이미지 분류, 텍스트 분류, 선호도 정렬 작업에서 RAVEN은 기존 방법보다 30% 이상 향상된 성능을 보이며, 신뢰할 수 있는 감독을 자동으로 식별할 수 있습니다.

시사점, 한계점

분포 변화에 강한 약-강 일반화 프레임워크를 제시하여 초인적인 모델 감독 문제를 해결.
다양한 작업에서 기존 방법 대비 우수한 성능을 입증.
신뢰할 수 있는 감독을 자동 식별하는 능력 제시.
구체적인 한계점은 논문 전체를 참조해야 함.
👍