每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

探索阿拉伯方言识别的数据和参数有效策略

Created by
  • Haebom

作者

瓦尼·坎吉兰加特、Ljiljana Dolamic、法比奥·里纳尔迪

大纲

本文探讨了数据和参数高效的阿拉伯方言识别 (ADI) 方法。具体而言,我们研究了各种软提示策略,例如前缀调整、提示调整、P 调整和 P 调整 V2,以及 LoRA 重参数化。对于数据高效的策略,我们通过零样本和少样本推理分析了使用硬提示的大规模语言模型 (LLM) 的方言识别能力。对于参数高效的 PEFT 方法,我们使用阿拉伯语专用编码器模型在多个常用数据集上进行了实验。我们还分析了开源解码器专用模型、通用多语言模型 (Phi-3.5) 和阿拉伯语专用模​​型 (SILMA) 的 n 样本推理。我们观察到,LLM 通常难以区分少样本或零样本设置中的细微方言差异。软提示编码器变体表现更佳,而基于 LoRA 的微调模型实现了最佳性能,优于完全微调。

Takeaways, Limitations

Takeaways:我们证明了基于 LoRA 的微调在阿拉伯语方言识别中表现良好。软提示策略也被证明有效,这表明该方法具有数据高效利用的潜力。
Limitations: LLM 的零样本和小样本测试性能有限。结果可能因实验中使用的数据集和模型而异。对各种阿拉伯方言的综合分析可能不足。
👍