本文全面回顾了利用大规模语言模型 (LLM) 解决优化问题的研究，LLM 拥有强大的理解和推理能力。我们着眼于其与进化计算的协同作用，系统地分析了近期的研究进展，并将其组织在一个结构化的框架内。研究主要分为两个阶段：使用 LLM 进行优化建模和使用 LLM 进行优化求解。后者细分为三种范式：将 LLM 用作独立的优化工具、将其嵌入优化算法以及将其用于算法选择和生成。我们分析了每个类别中的代表性方法，强调了其中的技术挑战，并研究了它们与现有方法的相互作用。我们还分析了自然科学、工程学和机器学习等各个领域的应用案例。通过将基于 LLM 的方法与现有方法进行比较，我们指出了关键的差距和研究挑战，并提出了开发用于优化的自进化代理生态系统的未来方向。
