Innovator 是一个融合科学知识和通用能力的大规模语言模型 (LLM)。它将现有的 LLM 升级为细粒度的混合专家模型,充分利用了通用任务和各个科学领域的专家。通过四个升级训练阶段(科学专家归纳、细粒度专家拆分、科学感知路由预热和通才-科学家集成),Innovator 在保留通用领域知识的同时,最大限度地减少了科学领域的负面影响。Innovator 基于 Qwen2.5-7B 构建,拥有 533 亿个参数(133 亿个激活函数),使用 3000 亿个 token 进行训练,其中包括 64 位科学专家和 1 位通用专家。在 30 个科学任务上,Innovator 的平均性能提升了 25%,在通用任务上保持了 99% 的性能,在复杂科学问题上的推理能力提升了 30% 以上。经过 Innovator 训练的 Innovator-Reason 在解决复杂科学问题方面表现出了 30% 的进步。