Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Improving Rule-based Reasoning in LLMs via Neurosymbolic Representations

Created by
  • Haebom

저자

Varun Dhanraj, Chris Eliasmith

개요

본 논문은 대규모 언어 모델(LLM)의 추론 능력, 특히 수학적 추론과 같이 정확한 규칙 준수를 필요로 하는 작업에서의 성능 향상을 위한 새로운 신경기호(neurosymbolic) 방법을 제시합니다. LLM의 은닉 상태를 신경기호 벡터로 인코딩하여 신경기호 벡터 공간 내에서 문제 해결을 수행하고, 결과를 디코딩하여 원래 은닉 상태와 병합함으로써 수치적 추론 작업에서 모델의 성능을 크게 향상시킵니다. 신경기호 표현을 통해 계산을 오프로드하여 효율성, 신뢰성 및 해석 가능성을 높입니다. 실험 결과, 다양한 수학적 추론 작업에서 사고 과정 프롬프팅 및 지도 미세 조정(LoRA)에 비해 평균 88.6% 낮은 교차 엔트로피 손실과 15.4배 더 많은 문제를 정확하게 해결하는 것으로 나타났으며, 다른 작업의 성능 저하 없이 달성되었습니다. 코드는 https://github.com/vdhanraj/Neurosymbolic-LLM 에서 공개됩니다.

시사점, 한계점

•
시사점:
◦
LLM의 수학적 추론 능력을 향상시키는 효과적인 신경기호 방법 제시
◦
계산 효율성, 신뢰성 및 해석 가능성 향상
◦
기존 방법(사고 과정 프롬프팅, LoRA) 대비 압도적인 성능 향상 (88.6% 낮은 cross-entropy loss, 15.4배 증가된 정답률)
◦
오픈소스 코드 공개를 통한 접근성 향상
•
한계점:
◦
제시된 방법의 일반화 능력에 대한 추가적인 연구 필요
◦
다양한 유형의 추론 작업에 대한 성능 평가 추가 필요
◦
특정 유형의 수학적 추론 문제에만 집중되어 다른 유형의 추론 문제에 대한 적용 가능성은 제한적일 수 있음.
👍
Made with Slashpage