Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Test-time Diverse Reasoning by Riemannian Activation Steering

Created by
  • Haebom
Category
Empty

저자

Ly Tran Ho Khanh, Dongxuan Zhu, Man-Chung Yue, Viet Anh Nguyen

개요

Best-of-$N$ 추론은 여러 후보 솔루션을 생성하고 평가 기준에 따라 최적의 솔루션을 선택하여 복잡한 문제를 해결하는 언어 모델의 정확도를 향상시킵니다. 그러나 모델이 유사한 출력을 생성하여 오류를 반복하는 출력 다양성 제한이 중요한 병목 현상입니다. 이 문제를 해결하기 위해, 본 논문에서는 테스트 시간에 여러 추론 궤적에 대한 스티어링 벡터를 동시에 최적화하는 새로운 무감독 활성화 스티어링 전략을 제안합니다. 동기화 앵커에서 가능한 모든 개입 활성 하위 집합에 의해 생성된 총 볼륨을 최대화하는 스티어링 벡터를 찾습니다. 구체적으로, 이 스티어링 벡터는 로그 행렬식 목적 함수를 가진 구의 곱에 대한 리만 최적화 문제를 해결하여 결정될 수 있습니다. 리만 블록 좌표 하강 알고리즘을 사용하여 이 문제의 고정점을 구하고, 이 스티어링 벡터를 다음 동기화 앵커까지 적용합니다. 수학적 벤치마크에 대한 실험적 평가는 본 논문의 테스트 시간 리만 활성화 스티어링 전략이 생성 다양성 및 솔루션 정확도 측면에서 기존의 샘플링 기술보다 우수함을 보여줍니다.

시사점, 한계점

시사점:
Best-of-$N$ 추론의 다양성 문제를 해결하기 위한 새로운 무감독 활성화 스티어링 전략 제안.
리만 최적화 기반의 스티어링 벡터 계산 방법론 제시.
수학적 벤치마크에서 기존 샘플링 기술 대비 성능 향상 입증.
한계점:
구체적인 하이퍼파라미터 설정 및 실험 환경에 대한 정보 부족.
다른 복잡한 문제 유형에 대한 일반화 성능 평가 필요.
계산 복잡성 및 실용적 적용 가능성에 대한 추가 연구 필요.
👍