TimeSeriesGym은 AI 에이전트의 시계열 기계 학습 엔지니어링 역량을 평가하기 위한 확장 가능한 벤치마킹 프레임워크입니다. 기존 벤치마크는 확장성이 부족하고, 잘 정의된 설정에서 모델 구축에만 집중하며, 제한된 연구 산출물(예: CSV 제출 파일)만 평가합니다. TimeSeriesGym은 다양한 영역과 작업에 걸쳐 다양한 출처의 과제를 통합하여, 데이터 처리, 연구 저장소 이해, 코드 변환 등의 개별 역량과 그 조합을 평가하도록 설계되었습니다. 또한, 제출 파일, 코드, 모델 등 여러 연구 산출물에 대한 평가 메커니즘을 구현하여 정확한 수치 측정과 유연한 LLM 기반 평가 방식을 결합합니다. 초기에는 시계열 애플리케이션에 중점을 두지만, 다른 데이터 모달리티로 쉽게 확장할 수 있습니다. 본 프레임워크는 오픈 소스로 공개되어 향후 AI 에이전트의 ML 엔지니어링 역량에 대한 연구를 촉진합니다.
