Mastering Board Games by External and Internal Planning with Language Models
Created by
Haebom
저자
John Schultz, Jakub Adamek, Matej Jusup, Marc Lanctot, Michael Kaisers, Sarah Perrin, Daniel Hennes, Jeremy Shar, Cannada Lewis, Anian Ruoss, Tom Zahavy, Petar Veli\v{c}kovic, Laurel Prince, Satinder Singh, Eric Malmi, Nenad Toma\v{s}ev
개요
본 논문은 대규모 언어 모델(LLM)의 계획 및 추론 능력 향상을 목표로, 체스, 피셔 랜덤 체스, 4목 게임, 헥스 등의 보드 게임에서 검색 기반 계획이 LLM의 게임 실력 향상에 크게 기여함을 보여줍니다. 외부 검색(외부 게임 엔진 없이 모델이 Monte Carlo Tree Search(MCTS) 롤아웃 및 평가를 안내)과 내부 검색(모델이 컨텍스트 내에서 선형화된 검색 트리를 생성하고 최종 선택을 내림) 두 가지 주요 접근 방식을 제시하고 비교 분석합니다. 관련 도메인 지식으로 사전 훈련된 언어 모델을 기반으로 환경의 전이 함수와 가치 함수를 정확하게 포착하며 환각 현상을 최소화합니다. 게임별 최첨단 엔진과의 평가 결과, 기본 모델에 비해 실력이 크게 향상되었으며, 인간의 검색 비용에 가깝게 작동하면서 체스에서 그랜드마스터 수준의 성능에 도달했습니다. 보드 게임에 국한되지 않고, 더 일반적인 미래 응용 분야를 시사합니다.
시사점, 한계점
•
시사점:
◦
LLM의 계획 및 추론 능력 향상을 위한 검색 기반 계획의 효과성을 보여줌.
◦
외부 및 내부 검색 두 가지 접근 방식의 비교 분석을 통해 각 방식의 장단점을 제시.
◦
체스에서 그랜드마스터 수준의 성능 달성.
◦
보드 게임을 넘어 다양한 분야에 적용 가능성 제시.
◦
환각 현상 최소화를 위한 도메인 지식 활용 전략 제시.
•
한계점:
◦
현재는 특정 보드 게임에 대한 실험 결과만 제시. 다른 유형의 문제 또는 작업으로의 일반화 가능성에 대한 추가 연구 필요.
◦
사용된 LLM 및 검색 알고리즘의 특정한 성능에 대한 의존성 존재. 다른 LLM이나 알고리즘에 대한 일반화 연구 필요.
