본 연구는 동적 환경에서 자기 학습 및 추론 에이전트로서의 대규모 언어 모델(LLM)의 잠재력을 평가하기 위해 자기 반성, 휴리스틱 변이, 계획 등의 프롬프팅 기법을 체계적으로 평가했습니다. 다양한 오픈소스 LLM을 사용한 실험 결과, 대규모 모델이 소규모 모델보다 일반적으로 성능이 우수하지만, 전략적인 프롬프팅을 통해 성능 격차를 줄일 수 있음을 발견했습니다. 또한, 너무 긴 프롬프트는 기본적인 반응적 작업에서 소규모 모델에 부정적인 영향을 미치는 반면, 대규모 모델은 더욱 견고한 동작을 보였습니다. 고급 프롬프팅 기법은 복잡한 게임에서 소규모 모델에 주로 도움이 되지만, 이미 성능이 높은 대규모 모델에는 개선 효과가 적었습니다. 고급 추론 방법은 성능을 크게 향상시킬 수 있지만 불안정성을 초래하고 성능 저하를 야기할 수도 있습니다. 인간의 성능과 비교했을 때, 진정한 출현적 추론에 대한 증거는 거의 없었습니다. 대신, LLM의 성능은 계획, 추론, 공간 조정과 같은 중요한 영역에서 지속적인 한계를 보여주며, 현재 세대의 LLM은 자기 반성 프롬프팅만으로는 완전히 극복할 수 없는 근본적인 결점을 가지고 있음을 시사합니다. 추론은 다면적인 작업이며, 사고의 연쇄(Chain of thought)와 같은 추론 방법이 수학적 문제 풀이에서 다단계 추론을 개선하지만, 동적 벤치마크를 사용한 연구 결과는 일반적인 추론 능력의 중요한 결점을 강조하며, 추론의 복잡성을 포착하기 위해 정적 벤치마크를 넘어설 필요성을 나타냅니다.
