ARIES: Autonomous Reasoning with LLMs on Interactive Thought Graph Environments
Created by
- Haebom
Category
Empty
저자
Pedro Gimenes, Zeyu Cao, Jeffrey Wong, Yiren Zhao
개요
본 논문은 추론 과제에서 대규모 언어 모델(LLM)의 성능을 향상시키기 위해 테스트 시간 계산을 확장하는 방법을 제시합니다. 특히 분해 가능한 문제의 경우, 중간 해결책을 그래프로 배열하고 변환을 수행하여 해결 공간을 탐색하는 접근 방식이 유망합니다. 그러나 이전 연구는 사전에 결정된 과제별 변환 일정에 의존하며, 이는 검색된 하이퍼파라미터 집합의 영향을 받습니다. 본 연구에서는 사고 그래프 변환을 마르코프 의사 결정 과정의 행동으로 보고, 기본 추론 LLM 에이전트에 대한 효과적인 행동 정책을 주도하는 정책 에이전트를 구현합니다. 특히, 다른 LLM이 사고 그래프 환경에서 정책 에이전트 역할을 할 수 있는 능력을 조사하고, LLM을 사용한 추론을 위한 다중 에이전트 아키텍처인 ARIES를 소개합니다. ARIES에서 추론 LLM 에이전트는 분해된 하위 문제를 해결하고, 정책 LLM 에이전트는 사고 그래프 상태를 파악하고 문제 해결 전략을 동적으로 적용합니다. 광범위한 실험을 통해, 감독 없는 미세 조정(SFT) 없이 기성품 LLM을 정책 에이전트로 사용하면 정적 변환 일정에 비해 HumanEval에서 최대 29% 높은 정확도를 얻을 수 있으며, 추론 비용을 35% 줄이고 검색 요구 사항을 피할 수 있음을 확인했습니다. 또한 관찰된 실패 모드에 대한 철저한 분석을 수행하여 LLM 크기와 문제 분해의 깊이에 대한 제한이 LLM 유도 추론 확장에 대한 과제가 될 수 있음을 강조했습니다.
시사점, 한계점
•
시사점:
◦
기존의 사전 결정된 변환 일정 방식보다 향상된 정확도(최대 29%) 달성.
◦
추론 비용 35% 절감.
◦
하이퍼파라미터 검색 필요성 제거.
◦
LLM을 정책 에이전트로 활용하는 새로운 다중 에이전트 아키텍처(ARIES) 제시.
•
한계점:
◦
LLM 크기의 제한.
◦
문제 분해의 깊이에 대한 제한.
◦
LLM의 실패 모드에 대한 추가 분석 필요.
