Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation

Created by
  • Haebom

저자

Siddhant Bhambri, Upasana Biswas, Subbarao Kambhampati

개요

본 논문은 대규모 언어 모델(LLM)에 비해 계산 효율성이 높지만 성능이 낮은 소규모 언어 모델(SLM)의 성능 향상을 위해 지식 증류(KD) 기법을 활용하는 연구이다. 특히, Chain-of-Thought (CoT)나 DeepSeek R1과 같은 추론 모델이 생성하는 중간 토큰(추론 과정)을 KD의 학습 신호로 활용하는 기존 연구와 달리, 규칙 기반 문제 분해를 이용한 KD 기법을 제안한다. 이를 통해 오픈북 QA 문제를 분류 단계와 정보 검색 단계로 분해하여 해석 가능하고 정확성을 쉽게 평가할 수 있는 추론 과정을 생성한다. CoTemp QA, Microsoft Machine Reading Comprehension QA, Facebook bAbI QA 데이터셋에서의 실험 결과, 추론 과정의 정확성과 최종 답변의 정확성 간의 상관관계가 낮다는 것을 발견하여, 추론 과정을 이용한 SLM 성능 향상에 대한 기존 가정에 의문을 제기한다.

시사점, 한계점

시사점: 규칙 기반 문제 분해를 이용한 지식 증류 기법을 통해 해석 가능하고 평가 가능한 추론 과정을 생성하는 새로운 방법을 제시하였다. 추론 과정의 정확성과 최종 답변의 정확성 간의 상관관계가 낮다는 것을 실험적으로 증명하여, 기존 추론 과정 기반 KD의 한계를 보여주었다. SLM 성능 향상을 위한 새로운 접근 방식에 대한 연구 방향을 제시하였다.
한계점: 제안된 방법은 특정 유형의 문제(오픈북 QA)에 대해서만 적용되었으며, 다른 유형의 문제에 대한 일반화 가능성은 추가 연구가 필요하다. 규칙 기반 문제 분해는 문제의 특성에 따라 수동으로 설계해야 하므로, 자동화된 문제 분해 기법에 대한 연구가 필요하다. 추론 과정의 정확성 평가 기준에 대한 추가적인 연구가 필요하다.
👍