VoxelPrompt 是一个端到端图像分析代理,它以任意体积医学图像和自然语言提示作为输入,并执行自由形式的放射学任务。它集成语言模型以生成可执行代码,然后调用联合训练的自适应视觉网络。该代码执行分析步骤以实现实际的定量目标,例如肿瘤生长测量。VoxelPrompt 结合多种专业视觉和统计工具,自动化了目前由医疗专业人员执行的分析。我们在各种神经影像学任务上评估了 VoxelPrompt,并证明了其能够识别数百种解剖和病理特征、测量复杂的形态特征以及对病变特征进行开放语言分析。VoxelPrompt 执行这些目标的准确度与专门的单任务图像分析模型相当,从而促进了各种可配置的生物医学工作流程。