Large Language Models Explore by Latent Distilling
Author
- Haebom
Category
Empty
저자
Yuanhao Zeng, Ao Lu, Lufei Li, Zheng Zhang, Yexin Li, Kan Ren
💡 개요
본 논문은 LLM의 테스트 타임 스케일링에서 중요한 요소인 다양한 응답 생성을 위해 'Exploratory Sampling (ESamp)'이라는 새로운 디코딩 방법을 제안합니다. ESamp는 경량화된 Distiller를 활용하여 LLM의 깊이별 표현 전환을 모델링하고, 예측 오류를 새로운 의미 패턴 탐색을 위한 신호로 사용하여 의미론적 다양성을 명시적으로 장려합니다. 실험 결과, ESamp는 추론 모델의 Pass@k 효율성을 크게 향상시키고, 다양한 분야의 벤치마크에서 강력한 성능을 보여주며 창의적인 글쓰기에서 다양성과 일관성의 균형을 개선합니다.
🔑 시사점 및 한계
•
LLM의 테스트 시간 샘플링에서 표면적 변화를 넘어선 깊은 의미론적 다양성을 효과적으로 탐색할 수 있는 새로운 접근 방식을 제시합니다.
•
추론, 수학, 과학, 코드 생성 등 다양한 작업에서 기존 방법론 대비 우수한 성능을 보여 LLM의 활용 가능성을 확장합니다.
•
Distiller의 적응성과 예측 오류를 활용한 메커니즘은 LLM의 탐색적 생성 능력을 향상시키는 데 기여합니다.
•
Distiller의 학습 및 추론 파이프라인 구현으로 인한 약간의 오버헤드가 발생하며, 특정 상황에서의 성능 최적화 및 더 복잡한 맥락에서의 일반화 가능성에 대한 추가 연구가 필요할 수 있습니다.
