Can Large Language Models Implement Agent-Based Models? An ODD-based Replication Study

Created by

Haebom

저자

Nuno Fachada, Daniel Fernandes, Carlos M. Fernandes, Joao P. Matos-Carvalho

💡 개요

본 연구는 대규모 언어 모델(LLMs)이 표준화된 명세로부터 에이전트 기반 모델(ABMs)을 신뢰성 있게 구현할 수 있는지 탐구합니다. 17가지 LLM을 사용하여 PPHPC 포식-피식자 모델을 Python 코드로 변환하는 작업을 평가했으며, 실행 가능성, 통계적 유효성, 효율성 및 유지보수성을 기준으로 결과를 분석했습니다. GPT-4.1이 통계적으로 유효하고 효율적인 구현을 지속적으로 생성했으며, Claude 3.7 Sonnet도 준수한 성능을 보였습니다.

🔑 시사점 및 한계

•

LLM은 ABM 구현을 자동화하는 데 잠재력을 보여주지만, 실행 가능성만으로는 과학적 재현성과 검증을 보장하기에 충분하지 않습니다.

•

LLM을 모델 엔지니어링 도구로 활용할 때, 모델의 신뢰성과 과학적 사용 가능성을 보장하기 위한 추가적인 검증 및 평가 프로세스가 필수적입니다.

•

현재 LLM은 ABM 구현에서 일관성 있고 신뢰할 수 있는 결과를 제공하지 못하는 경우가 있으며, 이는 모델의 재현성 및 검증 가능성에 대한 과제를 제기합니다.

PDF 보기

Made with Slashpage