From Sub-Ability Diagnosis to Human-Aligned Generation: Bridging the Gap for Text Length Control via MARKERGEN
Created by
Haebom
저자
Peiwen Yuan, Chuyi Tan, Shaoxiong Feng, Yiwei Li, Xinglin Wang, Yueqi Zhang, Jiayi Shi, Boyuan Pan, Yao Hu, Kan Li
개요
본 논문은 대규모 언어 모델(LLM)의 길이 제어 텍스트 생성(LCTG) 능력이 실제 응용에 있어 여전히 기대치에 못 미치는 문제를 해결하기 위해, LCTG 하위 능력의 분해와 목표 지향적 향상을 통해 이를 개선하는 MarkerGen이라는 새로운 방법을 제안한다. MarkerGen은 외부 도구 통합을 통해 LLM의 근본적인 결함을 완화하고, 동적으로 삽입된 마커를 사용하여 명시적인 길이 모델링을 수행하며, 세 단계의 생성 방식을 통해 길이 제약 조건과 콘텐츠 품질을 동시에 유지한다. 실험 결과, MarkerGen은 다양한 설정에서 LCTG를 상당히 개선하며 뛰어난 효과와 일반화 성능을 보여준다.
시사점, 한계점
•
시사점:
◦
LCTG 하위 능력의 분해를 통한 목표 지향적 향상이 LCTG 성능 개선에 효과적임을 보여줌.
◦
외부 도구 통합 및 동적 마커 삽입을 통한 단순하면서도 효과적인 LCTG 개선 방법 제시.
