每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

代码语义有用吗?基于执行轨迹的代码大型语言模型信息综合研究

Created by
  • Haebom

作者

王健、谢晓飞、胡强、刘尚清、李毅

大纲

本文探讨了代码语言学习模型 (LLM) 在推断运行时行为和理解程序功能方面的局限性。代码语言学习模型 (LLM) 的缺陷在于其缺乏对程序执行行为的推理能力,以及语义信息(例如执行轨迹)的不一致和碎片化表示。为了应对这些挑战,我们提出了一个通用框架,将语义信息(例如执行轨迹)集成到与代码任务相关的提示中,并全面研究了语义信息对提升代码语言学习模型 (LLM) 推理性能的影响。具体而言,我们研究了基于轨迹的语义信息对代码语言学习模型 (LLM) 的监督微调 (SFT) 和推理阶段的影响。实验结果表明,与以往研究不同,语义信息在提升 SFT 和代码语言学习模型 (LLM) 测试时间方面的效用有限。

Takeaways,Limitations

Takeaways:本文提出了一个提升法学硕士(LLM)推理能力的新框架,并开展了一项关于语义信息效用的实验研究。研究结果与先前的研究结果相矛盾,引发了人们对语义信息使用方式的重新思考。
Limitations:本研究结果可能仅限于特定的代码语言模型(LLM)和数据集。未来需要对各种代码语言模型和不同类型的代码任务进行进一步研究。此外,还需要对语义信息的类型及其整合方式进行更详细的分析。
👍