每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

InstructPLM-mu：ESM2 的 1 小时微调在蛋白质突变预测中胜过 ESM3

Created by
  • Haebom

作者

徐俊德、史亚品、郎丽君、崔涛勇、张志明、陈光勇、邱杰忠、恒鹏安

大纲

本文提出了 InstructPLM-mu 框架，该框架使用预训练的基于序列的蛋白质语言模型进行多模态微调，并研究其性能能否与从头开始训练的模型相媲美。实验结果表明，使用结构化输入对 ESM2 进行微调可实现与 ESM3 相当的性能。我们比较并分析了三种不同的特征融合设计和微调方法，以了解它们对性能的影响，发现融合方法和微调策略都会显著影响最终准确率。

Takeaways, Limitations

•
我们证明，基于预训练序列的模型的多模式微调可以在降低计算成本的同时实现有竞争力的性能。
•
我们证明融合方法和微调策略对性能有显著影响，为构建多模态模型提供了参考。
•
这促进了未来更好的融合机制和微调协议的发展。
•
他们指出，微调过程并不简单，并强调需要进一步研究。
👍
Made with Slashpage