本文提出了一种利用高内涵筛选 (HCS) 检测和高通量显微镜技术(例如细胞绘画)以前所未有的规模研究细胞形态反应的方法。这些数据收集有望帮助我们更好地理解各种扰动之间的关系及其对细胞状态的影响。为此,可以利用跨模态对比学习的最新进展来学习一个统一的潜在空间,将扰动与其相应的形态效应对齐。然而,由于细胞绘画图像与自然图像之间存在语义差异,并且难以在单个潜在空间中表示不同类型的扰动(例如小分子与 CRISPR 基因敲除),因此将这种方法应用于 HCS 数据具有挑战性。为了应对这些挑战,本文介绍了 CellCLIP,这是一个用于 HCS 数据的跨模态对比学习框架。CellCLIP 利用预训练的图像编码器和新颖的通道编码方案来更好地捕捉图像嵌入中各种显微镜通道之间的关系,并使用自然语言编码器来表示扰动。所提出的框架优于现有的开源模型,在跨模态搜索和具有生物学意义的下游任务中实现了最先进的性能,同时显著减少了计算时间。