Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models

Created by
  • Haebom
Category
Empty

저자

Tianyu Fu, Yichen You, Zekai Chen, Guohao Dai, Huazhong Yang, Yu Wang

Think-at-Hard: Dynamic Latent Thinking for LLM Reasoning

개요

본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해, 특히 파라미터 제약 조건 하에서, "Think-at-Hard (TaH)"라는 동적 잠재적 사고 방식을 제안한다. TaH는 어려운 토큰에 대해서만 추가 반복을 수행하도록 설계되었으며, 이를 통해 '과도한 사고' 현상을 방지하고, 정확한 토큰 예측을 유지하면서 성능을 향상시킨다. TaH는 경량 신경 결정기를 사용하여 첫 번째 패스 후 잘못될 가능성이 있는 토큰에 대해서만 잠재적 반복을 트리거한다. LoRA 모듈을 활용하여 어려운 토큰에 대한 정제를 수행하고, 듀오-인과적 어텐션 메커니즘을 도입하여 정보 흐름을 개선한다.

시사점, 한계점

•
시사점:
◦
LLM의 추론 성능을 향상시키면서 파라미터 효율성을 유지한다.
◦
모든 토큰에 대해 반복하는 기존 방식에 비해, 대부분의 토큰에 대한 추가 반복을 생략하여 계산 비용을 절감한다.
◦
다섯 가지 어려운 벤치마크에서 기존 방법 대비 8.1-11.3%의 정확도 향상.
◦
동일한 데이터로 미세 조정된 Qwen3 모델에 비해 4.0-5.0%의 정확도 향상.
◦
LoRA 및 반복 결정기에 3% 미만의 추가 파라미터만 사용 시, 정확도 향상이 8.5-12.6% 및 5.3-5.4%로 증가.
•
한계점:
◦
LoRA 및 반복 결정기와 같은 추가 모듈을 사용해야 한다.
◦
제안된 방법의 효과는 벤치마크 환경에 따라 달라질 수 있다.
◦
코드 및 모델의 일반화 능력에 대한 추가적인 연구가 필요하다.
👍
Made with Slashpage