본 논문은 장문맥락 대규모 언어 모델(LLM) 정렬에 필수적인 고품질 장문맥락 지시 데이터 생성을 위한 자기 합성 프레임워크인 LongMagpie를 제안합니다. 기존의 인간 주석 방식의 비용 및 어려움, 템플릿 기반 합성 방법의 한계를 극복하기 위해, LongMagpie는 정렬된 장문맥락 LLM이 문서와 특수 토큰을 입력받아 자기 회귀적으로 문맥에 맞는 질문을 생성하는 것을 활용합니다. 이렇게 생성된 문서-질문 쌍과 모델의 응답을 통해 인력 없이 고품질 지시 데이터를 생성합니다. HELMET, RULER, Longbench v2 실험 결과, LongMagpie는 장문맥락 작업에서 최고 성능을 달성하고 단문맥락 작업에서도 경쟁력 있는 성능을 유지함을 보여줍니다. 이는 개방적이고 다양하며 확장 가능한 장문맥락 지시 데이터 합성을 위한 간단하고 효과적인 방법임을 입증합니다.
