TraderBench: How Robust Are AI Agents in Adversarial Capital Markets?

Created by

Haebom

저자

Xiaochuang Yuan, Hui Xu, Silvia Xu, Cui Zou, Jing Xiong

💡 개요

본 논문은 금융 분야 AI 에이전트 평가의 두 가지 주요 과제(비용이 많이 들고 동적 의사결정을 놓치는 정적 벤치마크, 그리고 도메인 특화된 작업에 대한 통제되지 않은 편차를 유발하는 LLM 기반 심사)를 해결하는 TraderBench라는 새로운 벤치마크를 제안한다. TraderBench는 전문가 검증 정적 작업과 실제 성과(샤프 비율, 수익률, 낙폭)에 따라 평가되는 적대적 거래 시뮬레이션을 결합하여 심사 편차를 완전히 제거한다.

🔑 시사점 및 한계

•

현재 AI 에이전트들은 동적인 금융 시장 환경에 적응하는 능력이 부족하며, 이는 적대적 조건에서도 성능 변화가 미미하다는 결과로 드러났다.

•

복잡한 추론 능력이 지식 검색에는 도움이 되지만, 실제 거래 전략의 성능 향상에는 크게 기여하지 못하는 것으로 나타났다.

•

본 벤치마크는 실질적인 시장 적응 능력과 성과를 기반으로 AI 에이전트를 평가하는 중요성을 강조하며, 향후 금융 분야 AI 연구는 실제 시장 환경에서의 견고성을 높이는 데 초점을 맞춰야 할 것이다.

PDF 보기

Made with Slashpage