Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Problem-Solving Logic Guided Curriculum In-Context Learning for LLMs Complex Reasoning

Created by
  • Haebom

저자

Xuetao Ma, Wenbin Jiang, Hua Huang

개요

본 논문은 대규모 언어 모델(LLM)의 복잡한 추론 능력 향상을 위해 문제 해결 논리에 기반한 커리큘럼 형태의 In-context learning (ICL) 전략을 제안한다. 기존 ICL 방법들이 단순한 특징을 사용하여 예시 간의 관련성을 측정한 것과 달리, 본 연구는 문제 해결 논리를 분석하여 예시를 선택하고, 커리큘럼 학습에 따라 순서를 정한다. BREAK 데이터셋을 기반으로 문제 해결 논리 명령어 집합을 구성하고, 언어 모델을 미세 조정하여 예시의 문제 해결 논리를 분석한다. 문제 해결 단계 수에 따라 예시의 난이도를 평가하고, 쉬운 것부터 어려운 것 순서로 예시를 배열하여 문맥 프롬프트로 활용한다. 실험 결과, 여러 벤치마크에서 기존 ICL 접근 방식보다 성능과 효율성 면에서 우수한 결과를 보이며 LLM의 복잡한 추론 능력 향상에 효과적임을 입증한다.

시사점, 한계점

시사점:
문제 해결 논리 기반의 ICL 전략을 통해 LLM의 복잡한 추론 능력을 효과적으로 향상시킬 수 있음을 보여줌.
기존 단순 특징 기반 방법보다 성능과 효율성이 뛰어난 ICL 방법을 제시함.
커리큘럼 학습 원리를 적용하여 학습 효율을 높임.
한계점:
BREAK 데이터셋에 의존적이며, 다른 데이터셋에 대한 일반화 성능 검증이 필요함.
문제 해결 논리 분석의 정확성에 따라 성능이 영향을 받을 수 있음.
공개적으로 접근 가능한 프로젝트 코드의 부재 (향후 공개 예정).
👍