From Task Executors to Research Partners: Evaluating AI Co-Pilots Through Workflow Integration in Biomedical Research
Created by
Haebom
Category
Empty
저자
Lukas Weidener, Marko Brkic, Chiara Bacci, Mihailo Jovanovic, Emre Ulgac, Alex Dobrin, Johannes Weniger, Martin Vlas, Ritvik Singh, Aakaash Meduri
개요
본 논문은 생의학 연구에서 인공지능 시스템의 평가 방식이 연구 협업자로서의 효과성을 제대로 측정하지 못한다는 점을 지적한다. 2018년 1월 1일부터 2025년 10월 31일까지의 연구를 대상으로 14개의 벤치마크를 분석한 결과, 현재의 벤치마크는 데이터 분석, 가설 검증, 실험 설계 등 개별적인 기능 평가에 집중되어 있음을 확인했다. 이에 따라, 대화 품질, 워크플로우 조정, 세션 연속성, 연구자 경험 등 연구 협업에 필수적인 요소를 고려한 프로세스 지향적 평가 프레임워크의 필요성을 제안한다.
시사점, 한계점
•
시사점:
◦
현재의 AI 시스템 평가 방식은 실제 연구 협업 환경에서의 효과성을 제대로 반영하지 못한다.
◦
AI 시스템을 연구 보조자로서 평가하기 위해서는 대화 품질, 워크플로우 관리, 세션 지속성, 연구자 경험 등 프로세스 지향적인 평가가 필요하다.
◦
새로운 평가 프레임워크는 AI 시스템을 고립된 작업 수행자가 아닌, 실제 연구 협업자로서 평가하는 데 기여할 수 있다.
•
한계점:
◦
본 연구는 현재 존재하는 벤치마크들을 분석하는 데 초점을 맞추었으며, 새로운 평가 프레임워크의 구체적인 구현 방안에 대한 내용은 제한적이다.
◦
구체적인 데이터와 사례 연구의 부족으로, 제시된 프레임워크의 실질적인 효과를 검증하는 데 추가적인 연구가 필요하다.
◦
연구 대상 기간이 2025년 10월까지로 제한되어, 이후의 최신 기술 발전을 반영하지 못할 수 있다.
