HyperCLOVA X THINK는 약 6조 개의 고품질 한국어 및 영어 토큰과 표적 합성 한국어 데이터를 사용하여 사전 훈련된 최초의 추론 중심 대규모 언어 모델입니다. μP로 확장된 계산-메모리 균형형 Peri-LN Transformer로 구현되었으며, 컨텍스트 창을 128K 토큰으로 확장하는 3단계 커리큘럼을 통해 사전 훈련되고, 검증 가능한 보상으로부터 강화 학습을 사용한 지도식 미세 조정을 통해 후속 훈련되었습니다. 세부적인 근거와 간결한 답변 모드를 모두 지원하며, KMMLU, CSAT, KoBALT-700, HAERAE-1.0 및 KoBigBench와 같은 한국어 중심 벤치마크에서 유사한 크기의 모델에 비해 경쟁력 있는 성능을 제공하는 동시에 강력한 이중 언어 일관성과 번역 품질을 유지합니다. 또한, 비전 증강 변형은 KCSAT STEM 벤치마크에서 GPT-4.1과 동등하거나 그 이상의 성능을 달성하며, 이 모든 것이 기존 유사 크기 모델보다 훨씬 적은 훈련 연산으로 달성되었습니다. 또한 오픈소스 및 비즈니스 친화적인 기반 모델을 위해 HyperCLOVA X THINK에 적용될 가지치기 및 증류 기술도 제시합니다. 이러한 기능들을 통해 HyperCLOVA X THINK는 한국 AI 혁신을 위한 강력한 기반이자 전 세계 연구 커뮤니티에 귀중한 자원으로 자리매김할 것입니다.
