Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Kimi K2: Open Agentic Intelligence

Created by
  • Haebom

저자

Kimi Team, Yifan Bai, Yiping Bao, Guanduo Chen, Jiahao Chen, Ningxin Chen, Ruijue Chen, Yanru Chen, Yuankun Chen, Yutian Chen, Zhuofu Chen, Jialei Cui, Hao Ding, Mengnan Dong, Angang Du, Chenzhuang Du, Dikang Du, Yulun Du, Yu Fan, Yichen Feng, Kelin Fu, Bofei Gao, Hongcheng Gao, Peizhong Gao, Tong Gao, Xinran Gu, Longyu Guan, Haiqing Guo, Jianhang Guo, Hao Hu, Xiaoru Hao, Tianhong He, Weiran He, Wenyang He, Chao Hong, Yangyang Hu, Zhenxing Hu, Weixiao Huang, Zhiqi Huang, Zihao Huang, Tao Jiang, Zhejun Jiang, Xinyi Jin, Yongsheng Kang, Guokun Lai, Cheng Li, Fang Li, Haoyang Li, Ming Li, Wentao Li, Yanhao Li, Yiwei Li, Zhaowei Li, Zheming Li, Hongzhan Lin, Xiaohan Lin, Zongyu Lin, Chengyin Liu, Chenyu Liu, Hongzhang Liu, Jingyuan Liu, Junqi Liu, Liang Liu, Shaowei Liu, T. Y. Liu, Tianwei Liu, Weizhou Liu, Yangyang Liu, Yibo Liu, Yiping Liu, Yue Liu, Zhengying Liu, Enzhe Lu, Lijun Lu, Shengling Ma, Xinyu Ma, Yingwei Ma, Shaoguang Mao, Jie Mei, Xin Men, Yibo Miao, Siyuan Pan, Yebo Peng, Ruoyu Qin, Bowen Qu, Zeyu Shang, Lidong Shi, Shengyuan Shi, Feifan Song, Jianlin Su, Zhengyuan Su, Xinjie Sun, Flood Sung, Heyi Tang, Jiawen Tao, Qifeng Teng, Chensi Wang, Dinglu Wang, Feng Wang, Haiming Wang, Jianzhou Wang, Jiaxing Wang, Jinhong Wang, Shengjie Wang, Shuyi Wang, Yao Wang, Yejie Wang, Yiqin Wang, Yuxin Wang, Yuzhi Wang, Zhaoji Wang, Zhengtao Wang, Zhexu Wang, Chu Wei, Qianqian Wei, Wenhao Wu, Xingzhe Wu, Yuxin Wu, Chenjun Xiao, Xiaotong Xie, Weimin Xiong, Boyu Xu, Jing Xu, Jinjing Xu, L. H. Xu, Lin Xu, Suting Xu, Weixin Xu, Xinran Xu, Yangchuan Xu, Ziyao Xu, Junjie Yan, Yuzi Yan, Xiaofei Yang, Ying Yang, Zhen Yang, Zhilin Yang, Zonghan Yang, Haotian Yao, Xingcheng Yao, Wenjie Ye, Zhuorui Ye, Bohong Yin, Longhui Yu, Enming Yuan, Hongbang Yuan, Mengjie Yuan, Haobing Zhan, Dehao Zhang, Hao Zhang, Wanlu Zhang, Xiaobin Zhang, Yangkun Zhang, Yizhi Zhang, Yongting Zhang, Yu Zhang, Yutao Zhang, Yutong Zhang, Zheng Zhang, Haotian Zhao, Yikai Zhao, Huabin Zheng, Shaojie Zheng, Jianren Zhou, Xinyu Zhou, Zaida Zhou, Zhen Zhu, Weiyu Zhuang, Xinxing Zu

개요

Kimi K2는 320억 개의 활성화 매개변수와 총 1조 개의 매개변수를 가진 Mixture-of-Experts(MoE) 기반의 대규모 언어 모델입니다. 새로운 QK-clip 기법을 사용하여 Muon 최적화의 불안정성을 해결하고 토큰 효율성을 향상시킨 MuonClip 최적화기를 사용하여 15.5조 개의 토큰으로 손실 급증 없이 사전 훈련되었습니다. 다단계 후속 훈련 과정을 거쳤는데, 대규모 에이전트 데이터 합성 파이프라인과 강화 학습(RL) 단계가 포함되어 실제 및 합성 환경과의 상호 작용을 통해 성능을 향상시켰습니다. 비사고(non-thinking) 설정에서 오픈소스 모델 중 최첨단 성능을 달성하며, 특히 에이전트 능력에서 강점을 보입니다. Tau2-Bench, ACEBench, SWE-Bench 등 다양한 벤치마크에서 높은 점수를 기록했습니다. 코딩, 수학, 추론 작업에서도 뛰어난 성능을 보이며, 기본 및 후속 훈련된 모델 체크포인트를 공개하여 에이전트 지능 연구 및 응용을 지원합니다.

시사점, 한계점

시사점:
MoE 기반의 대규모 언어 모델에서 MuonClip 최적화기를 사용한 성공적인 사례 제시.
대규모 에이전트 데이터 합성 파이프라인과 강화 학습을 통한 성능 향상 가능성을 보여줌.
오픈소스 모델 중 최고 수준의 성능 달성, 특히 소프트웨어 엔지니어링 및 에이전트 작업에서 우수한 성능을 보임.
기본 및 후속 훈련된 모델 체크포인트 공개를 통한 연구 및 응용 활성화.
한계점:
논문에서 구체적인 MuonClip 최적화기의 상세 내용 및 효과 분석이 부족.
대규모 에이전트 데이터 합성 파이프라인의 구체적인 구성 및 한계에 대한 설명 부족.
"비사고(non-thinking)" 설정에 대한 명확한 정의와 한계 제시 부족.
다른 최첨단 모델과의 비교 분석이 더욱 상세하게 필요.
👍