Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Ne l'inventez pas : préserver la conscience de l'ignorance dans la préparation du LLM

Created by
  • Haebom

Auteur

William F. Shen, Xinchi Qiu, Nicola Cancedda, Nicholas D. Lane

Contour

Cet article présente SEAT, une nouvelle méthode permettant de résoudre le problème d'oubli fatal qui survient lors du réglage fin des modèles linguistiques à grande échelle (MLH). Contrairement aux études précédentes axées sur le maintien des performances sur les données existantes, cet article se concentre sur la perte de capacités essentielles acquises lors de l'alignement, notamment la capacité à représenter avec précision l'incertitude du modèle (conscience de l'ignorance). Les auteurs formalisent le concept de conscience de l'ignorance et montrent que les méthodes de réglage fin existantes peuvent altérer cette conscience en induisant une dérive d'activation, conduisant à des comportements indésirables tels que des hallucinations. SEAT intègre un réglage parcimonieux, qui limite la dérive d'activation, et une nouvelle méthode de perturbation d'entités pour résoudre l'intrication des connaissances, permettant ainsi d'acquérir efficacement de nouvelles connaissances tout en maintenant une conscience de l'ignorance alignée. Les résultats expérimentaux montrent que SEAT surpasse les méthodes existantes en termes de rétention de la conscience de l'ignorance et de performances de réglage fin sur des jeux de données réels et synthétiques.

Takeaways, Limitations_

Takeaways:
Dans le cours LLM Fine Tuning, l'importance de la sensibilisation à l'ignorance est soulignée et des méthodes pour la mesurer quantitativement et l'améliorer sont présentées.
Nous révélons le Limitations de la méthode de réglage fin existante et proposons une nouvelle méthode, SEAT, pour le surmonter.
SEAT démontre expérimentalement que les méthodes de réglage clairsemé et de perturbation d'entité améliorent simultanément la reconnaissance de l'ignorance et les performances de réglage fin.
Présentation d'une nouvelle direction pour un réglage fin LLM plus robuste et plus sûr.
Limitations:
Des recherches supplémentaires sont nécessaires pour déterminer dans quelle mesure les performances de SEAT se généralisent à différentes architectures et ensembles de données LLM.
Des recherches supplémentaires sont nécessaires pour déterminer les paramètres optimaux de la méthode de perturbation d’entité.
Une analyse du coût et de l’efficacité du calcul lorsqu’il est appliqué à un LLM à grande échelle est nécessaire.
Des discussions plus approfondies pourraient être nécessaires concernant la définition et la mesure de la conscience de l’ignorance.
👍