Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

C'est tellement FETCH : élaboration de techniques d'ensemble pour la classification des LLM dans le cadre de l'admission et de l'orientation en droit civil

Created by
  • Haebom

Auteur

Quinten Steenhuis

Contour

Chaque année, des millions de personnes sollicitent une assistance juridique via les permanences téléphoniques des programmes d'aide juridique, les bureaux d'aide juridique ou les services d'orientation vers les avocats. Identifier les problèmes juridiques rencontrés par un demandeur est la première étape pour le mettre en relation avec l'aide adéquate. Une mauvaise orientation peut entraîner des retards, des violences physiques, la perte de logement ou la perte de la garde des enfants. Cet article présente et évalue le classificateur FETCH pour la classification des problèmes juridiques et décrit deux méthodes pour en améliorer la précision : une méthode de classification d'ensemble hybride LLM/ML et la génération automatique de questions complémentaires qui enrichissent la description initiale du problème. Nous utilisons un nouvel ensemble de données composé de 419 questions concrètes provenant de services d'orientation vers les avocats d'organismes à but non lucratif. Nous démontrons qu'en combinant des modèles peu coûteux, nous obtenons une précision de classification de 97,37 % (hits@2), surpassant ainsi le modèle GPT-5 actuel, à la pointe de la technologie. Notre approche démontre le potentiel de réduction significative des coûts d'orientation des usagers du système juridique vers les ressources appropriées à leurs problèmes, tout en garantissant une grande précision.

Takeaways, Limitations

Takeaways:
Nous démontrons que la précision de la classification des problèmes juridiques peut être considérablement améliorée en utilisant une méthode de classification d’ensemble hybride LLM/ML et la génération automatique de questions de suivi.
Nous démontrons la faisabilité de la construction d’un système de soutien juridique rentable en obtenant une grande précision (97,37 % de hits@2) à l’aide d’un modèle peu coûteux.
Valider la praticité du modèle et ses performances de généralisation à l’aide d’ensembles de données du monde réel.
Limitations:
L’ensemble de données utilisé peut être relativement petit (419 cas).
ÉTant donné que nous avons utilisé des données provenant d’un service d’orientation d’avocats à but non lucratif spécifique, des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à d’autres services ou régions.
La nécessité d’une maintenance des performances à long terme et de mises à jour continues du modèle.
Une validation plus poussée des capacités de traitement complètes de divers types de problèmes juridiques est nécessaire.
👍