Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Self-GIVE: Associative Thinking from Limited Structured Knowledge for Enhanced Large Language Model Reasoning

Created by
  • Haebom

저자

Jiashu He, Jinxuan Fan, Bowen Jiang, Ignacio Houine, Dan Roth, Alejandro Ribeiro

개요

본 논문은 복잡한 질문에 대한 답변을 위해 기존 지식과의 연관성을 활용하는 사람의 사고 과정을 모방하여, 과학적 질문 해결에 어려움을 겪는 대규모 언어 모델(LLM)의 성능을 향상시키는 새로운 프레임워크인 Self-GIVE를 제안합니다. Self-GIVE는 강화 학습 기반의 retrieve-RL 프레임워크로, 지식 그래프(KG)를 활용하여 구조화된 정보와 개체 집합을 추출하여 LLM이 질문 개념과 연결하는 것을 돕습니다. 기존의 Graph Inspired Veracity Extrapolation (GIVE)의 효율성 및 일반화 한계를 극복하기 위해, LLM 호출 횟수와 토큰 오버헤드를 줄이고, 소규모 LLM에서도 적용 가능하도록 설계되었습니다. UMLS KG를 사용하여 Self-GIVE로 미세 조정한 결과, Qwen2.5 3B 및 7B 모델의 성능이 괄목할 만하게 향상되었으며, 특히 7B 모델은 GIVE를 사용한 GPT3.5 turbo와 비슷하거나 뛰어난 성능을 보였습니다.

시사점, 한계점

시사점:
강화 학습 기반의 retrieve-RL 프레임워크를 통해 LLM의 연관 추론 능력 향상 및 과학적 질문 해결 능력 개선.
소규모 LLM에서도 효율적으로 동작하며, 토큰 사용량을 크게 감소시켜 비용 효율성 증대.
기존 GIVE의 한계점(많은 LLM 호출, 소규모 LLM 적용 어려움, 부정확한 지식 추출)을 성공적으로 해결.
7B 모델의 성능을 GPT3.5 turbo 수준으로 향상시킴.
구조화된 정보 검색 및 추론과 연관 추론의 확장 가능한 통합을 가능하게 함.
한계점:
UMLS KG에 대한 의존성이 높아 다른 도메인이나 KG에 대한 일반화 가능성 검증 필요.
Self-GIVE의 강화 학습 과정에 대한 자세한 설명 부족. 학습 과정의 안정성과 효율성에 대한 추가 분석 필요.
특정 biomedical QA task에 대한 성능 향상이 주로 제시되었으므로, 다른 유형의 질문에 대한 일반화 성능 평가가 필요.
👍