본 논문은 빠른 의약 자산 실사를 위한 에이전트 기반 AI 시스템 내에서 사용되는 경쟁사 발견 구성 요소를 설명하고 벤치마킹합니다. 경쟁사 발견 AI 에이전트는 특정 적응증이 주어지면 해당 적응증의 경쟁 환경을 구성하는 모든 약물을 검색하고 이러한 약물의 표준 속성을 추출합니다. 경쟁사 정의는 투자자별로 다르며, 데이터는 유료/라이선스가 부여되고 레지스트리 간에 분할되며, 적응증에 따라 온톨로지가 일치하지 않고, 약물 이름에 별칭이 많으며, 다중 모드이고, 빠르게 변화합니다. 현재 LLM 기반 AI 시스템은 이 문제에 대한 최고의 도구로 간주되지만, 모든 경쟁 약물 이름을 안정적으로 검색할 수 없으며, 이 작업에 대한 허용되는 공개 벤치마크가 없습니다. 평가 부족을 해결하기 위해, 본 논문에서는 LLM 기반 에이전트를 사용하여 사설 바이오텍 VC 펀드의 5년간의 다중 모드 비정형 실사 메모를 적응증을 표준화된 속성을 가진 경쟁 약물에 매핑하는 구조화된 평가 코퍼스로 변환합니다. 또한, 정밀도를 극대화하고 환각을 억제하기 위해 예측된 경쟁사 목록에서 오탐을 걸러내는 경쟁사 검증 LLM-as-a-judge 에이전트를 도입했습니다. 이 벤치마크에서 경쟁사 발견 에이전트는 83%의 재현율을 달성하여 OpenAI Deep Research(65%) 및 Perplexity Labs(60%)를 능가합니다. 이 시스템은 기업 사용자를 대상으로 운영되고 있으며; 바이오텍 VC 투자 펀드를 대상으로 한 사례 연구에서 분석가의 처리 시간이 경쟁 분석에 대해 2.5일에서 약 3시간(약 20배)으로 단축되었습니다.
