Cet article propose le réglage plus rapide et efficace des paramètres (FPET), une nouvelle méthode qui améliore la vitesse d'inférence et l'efficacité d'apprentissage du réglage plus efficace des paramètres (PET). Les méthodes PET existantes souffrent de la latence d'inférence inhérente aux modèles de base à grande échelle et de la surcharge de calcul associée aux modules supplémentaires. FPET introduit un module de réduction de la redondance de jetons prêt à l'emploi, spécialement conçu pour le PET, qui affine les jetons dans la couche d'auto-attention et les supprime grâce à une stratégie de fusion de jetons entièrement différentiable. Cela permet d'obtenir une vitesse d'inférence plus rapide et une meilleure efficacité mémoire, tout en maintenant des performances comparables à celles des méthodes PET existantes.
