Thinking Before Constraining: A Unified Decoding Framework for Large Language Models

작성자

Haebom

카테고리

Empty

저자

Ngoc Trinh Hung Nguyen, Alonso Silva, Laith Zumot, Liubov Tupikina, Armen Aghasaryan, Mehwish Alam

💡 개요

본 논문은 대규모 언어 모델(LLM)의 자유로운 형식 응답 생성 시 발생하는 검증의 어려움과, 제약 조건이 이른 시점에 적용되어 추론 능력을 제한하는 문제를 해결하기 위한 새로운 통합 디코딩 프레임워크인 'In-Writing'을 제안합니다. In-Writing은 먼저 자유로운 형식으로 추론을 수행한 후, 특정 트리거 토큰이 생성될 때 비로소 구조화된 디코딩을 적용하여 추론과 형식화를 명확히 분리합니다. 이를 통해 조기 트리거링을 효과적으로 방지하며, 분류 및 추론 작업에서 기존 최첨단 방법 대비 최대 27%의 정확도 향상을 달성했습니다.

🔑 시사점 및 한계

•

LLM에서 자유로운 추론과 구조화된 결과 생성을 효과적으로 통합하는 하이브리드 디코딩 프레임워크의 가능성을 보여줍니다.

•

추론 과정에서 제약 조건을 적용하는 시점을 조절함으로써, LLM의 추론 능력을 보존하면서도 검증 가능한 출력을 얻을 수 있는 새로운 방향을 제시합니다.

•

트리거 토큰 전략의 설계 및 적용이 모델의 성능에 미치는 영향에 대한 추가적인 연구가 필요하며, 다양한 작업과 LLM 아키텍처에 대한 일반화 가능성을 검증해야 합니다.

PDF 보기

Made with Slashpage