语言模型后训练提升了指令跟随性能以及各种下游任务的性能，但在存在多种正确答案的任务中，它却常常表现出被忽视的缺陷。在本文中，我们定义了条件分布建模的三个要求：上下文可控性、有效的输出空间覆盖和分布对齐。我们记录了当前的后训练方法如何在三个不同的模型系列中削弱这些属性。具体而言，我们区分了 ICL（利用现有知识或能力）和上下文可控性（利用上下文信息忽略先验知识并转向新的数据生成分布）。为了更好地评估和改进这些要求，我们引入了 Spectrum Suite，这是一个大型资源，包含 90 多个需要转向和匹配各种分布（从不同的人类偏好到数值分布）的任务。我们发现，虽然当前的后训练技术有助于利用底层能力和知识，但它们会降低在上下文中灵活转向的能力。为了缓解这些问题，我们提出了 Spectrum Tuning，这是一种训练后方法，它使用 Spectrum Suite 来提升可控性和分布覆盖率。Spectrum Tuning 通过提升可控性、扩展输出空间以及改进在保留数据集上的分布一致性，使其性能优于预训练模型和指令调整模型。
