Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLM-Based Agents for Competitive Landscape Mapping in Drug Asset Due Diligence

Created by
  • Haebom

저자

Alisa Vinogradova (Optic Inc), Vlad Vinogradov (Optic Inc), Dmitrii Radkevich (Optic Inc), Ilya Yasny (Optic Inc), Dmitry Kobyzev (Optic Inc), Ivan Izmailov (Optic Inc), Katsiaryna Yanchanka (Optic Inc), Roman Doronin (Optic Inc), Andrey Doronichev (Optic Inc)

개요

본 논문은 빠른 의약품 자산 실사를 위한 에이전트 기반 AI 시스템 내에서 사용되는 경쟁사 발견 구성 요소에 대해 설명하고 벤치마킹한 결과를 제시합니다. 특정 적응증이 주어지면, 경쟁사 발견 AI 에이전트는 해당 적응증의 경쟁 환경을 구성하는 모든 약물을 검색하고 이 약물들의 표준 속성을 추출합니다. 경쟁사 정의는 투자자별로 다르며, 데이터는 유료/라이선스가 필요하고, 여러 레지스트리에 분산되어 있으며, 적응증에 따라 온톨로지가 일치하지 않고, 약물 이름에 별칭이 많으며, 다중 모드이고, 빠르게 변화합니다. 기존의 LLM 기반 AI 시스템은 모든 경쟁 약물 이름을 안정적으로 검색할 수 없으며, 이 작업에 대한 공개 벤치마크가 없다는 문제점을 해결하기 위해, 민간 바이오테크 VC 펀드의 5년간의 다중 모드 비정형 실사 메모를 구조화된 평가 코퍼스로 변환하여 적응증과 표준화된 속성을 가진 경쟁 약물을 매핑했습니다. 또한, 오탐을 제거하고 정확도를 높이며 환각을 억제하기 위해 경쟁사 검증 LLM-as-a-judge 에이전트를 도입했습니다. 본 논문에서 제시된 경쟁사 발견 에이전트는 83%의 재현율을 달성하여 OpenAI Deep Research(65%) 및 Perplexity Labs(60%)를 능가했습니다. 이 시스템은 기업 사용자를 대상으로 운영되고 있으며, 바이오테크 VC 투자 펀드의 사례 연구에서 경쟁 분석에 대한 분석가 처리 시간이 2.5일에서 약 3시간으로 단축되었습니다(약 20배).

시사점, 한계점

시사점:
다중 모드 비정형 데이터에서 경쟁 약물을 효과적으로 발견하는 AI 시스템 개발 및 실제 배포 성공 사례 제시.
LLM 기반 에이전트를 활용하여 실사 시간을 획기적으로 단축(20배)시킴으로써 효율성 증대 가능성을 보여줌.
새로운 벤치마크 데이터셋 구축을 통해 LLM 기반 경쟁사 발견 시스템 성능 평가 및 비교 가능.
LLM-as-a-judge 에이전트를 활용한 오탐 제거 및 정확도 향상 전략 제시.
한계점:
사용된 데이터가 특정 민간 바이오테크 VC 펀드의 데이터에 국한되어 일반화 가능성에 대한 검토 필요.
벤치마크 데이터셋의 규모 및 다양성이 향후 연구에서 개선될 여지가 있음.
경쟁사 정의가 투자자 특이적이므로, 다른 투자자에게는 일반화되지 않을 수 있음.
데이터의 paywalled/licensed 특성으로 인해 접근성에 제한이 있음.
👍