Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From System 1 to System 2: A Survey of Reasoning Large Language Models

Created by
  • Haebom

저자

Zhong-Zhi Li, Duzhen Zhang, Ming-Liang Zhang, Jiaxin Zhang, Zengyan Liu, Yuxuan Yao, Haotian Xu, Junhao Zheng, Pei-Jie Wang, Xiuyi Chen, Yingying Zhang, Fei Yin, Jiahua Dong, Zhiwei Li, Bao-Long Bi, Ling-Rui Mei, Junfeng Fang, Xiao Liang, Zhijiang Guo, Le Song, Cheng-Lin Liu

개요

본 논문은 인간 수준의 지능을 달성하기 위해서는 빠르고 직관적인 시스템 1에서 느리고 신중한 시스템 2 추론으로의 전환을 개선해야 함을 강조한다. 기초적인 대규모 언어 모델(LLM)은 빠른 의사결정에는 능숙하지만, 시스템 2 사고의 특징인 단계별 분석을 완전히 수용하지 못하여 복잡한 추론에는 부족함을 보인다. 반면, OpenAI의 o1/o3, DeepSeek의 R1과 같은 추론 LLM은 수학 및 코딩과 같은 분야에서 전문가 수준의 성능을 보이며 시스템 2의 신중한 추론을 모방한다. 본 논문은 기초 LLM의 발전과 시스템 2 기술의 초기 개발에 대한 개요를 제시하고, 이들의 결합이 추론 LLM을 위한 길을 열었는지 탐구한다. 추론 LLM의 구성 방법, 특징, 고급 추론을 가능하게 하는 핵심 방법, 다양한 추론 LLM의 발전 과정을 분석하고, 추론 벤치마크에 대한 개요와 대표적인 추론 LLM의 성능 비교를 제공한다. 마지막으로, 추론 LLM 발전을 위한 유망한 방향을 탐색하고, 최신 개발 동향을 추적하기 위한 GitHub 저장소를 제공한다.

시사점, 한계점

•
시사점:
◦
기초 LLM과 시스템 2 기술의 결합을 통해 인간 수준의 추론 능력을 갖춘 LLM 개발 가능성 제시.
◦
추론 LLM의 구조, 핵심 방법, 성능 비교 분석을 통해 향후 연구 방향 제시.
◦
최신 연구 동향을 실시간으로 추적할 수 있는 GitHub 저장소 제공.
•
한계점:
◦
아직까지 시스템 2 추론을 완벽하게 모방하는 LLM은 없음.
◦
추론 LLM의 성능 평가를 위한 벤치마크의 한계 존재 가능성.
◦
추론 LLM의 발전 속도가 빨라, 논문 발표 이후 새로운 기술 및 연구 결과가 등장할 가능성 존재.
👍
Made with Slashpage