본 논문은 AI를 활용한 자율적 연구 시스템 개발의 가능성을 탐구하며, 특히 대규모 언어 모델(LLM)이 블랙박스 시스템의 구조를 관찰 데이터와 적극적 데이터 수집을 통해 얼마나 잘 파악하는지 연구합니다. 프로그램, 형식 언어, 수학 방정식 세 가지 유형의 블랙박스 시스템을 대상으로 실험을 진행하여, LLM이 수동적 관찰만으로는 베이지안 추론 이상의 성능을 달성하지 못하고 성능 정체에 도달함을 보였습니다. 하지만 LLM이 블랙박스에 직접 질의하고 결과를 관찰하는 적극적 개입을 통해 성능이 향상됨을 보였으며, 이는 엣지 케이스를 테스트하고 가설을 개선하기 때문임을 밝혔습니다. 한 LLM의 개입 데이터를 다른 LLM에 제공하는 실험을 통해, 효과적인 개입 생성 과정 자체가 성능 향상에 기여함을 확인하였고, 이는 인간 학습 연구 결과와 일치합니다. 또한 적극적 개입이 과도한 복잡화(잘못된 사전 지식 가정)와 관찰 간과라는 두 가지 주요 실패 모드를 극복하는 데 도움이 됨을 분석하였습니다. 결론적으로, 본 연구는 LLM이 블랙박스 시스템을 효과적으로 역설계하고 새로운 발견을 하는 데 도움이 되는 실질적인 지침을 제공합니다.
