Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Un sondage, rien d'autre ? Utiliser de grands modèles linguistiques pour coder les réponses ouvertes en allemand sur la motivation.

Created by
  • Haebom

Auteur

Leah von der Heyde, Anna-Carolina Haensch, Bernd Wei{\ss}, Jessica Daikeler

Contour

Cet article étudie la classification des réponses ouvertes dans les enquêtes à l'aide de modèles linguistiques à grande échelle (MLE). Contrairement aux études précédentes, principalement axées sur des données anglaises et des sujets simples, nous avons comparé et analysé divers LLE et méthodes d'incitation à la participation à des enquêtes de pointe à partir de données allemandes sur les raisons de participation. En comparant les performances avec celles d'un codage expert humain, nous avons confirmé la différence de performance des LLE et, en particulier, nous avons montré que seuls les LLE affinés obtenaient des performances de prédiction satisfaisantes. Nous avons constaté que l'efficacité des méthodes d'incitation variait selon le LLE et que, sans affinement, les LLE pouvaient classer chaque catégorie de raisons de participation à l'enquête de manière inégale, ce qui pouvait fausser la distribution des catégories. En conclusion, nous discutons des conditions et des contraintes d'une utilisation efficace et précise des LLE dans la recherche par sondage, et suggérons des implications pour le traitement et l'analyse des données par les praticiens.

Takeaways, Limitations_

Takeaways:
Fournir des preuves empiriques pour la classification des réponses aux enquêtes ouvertes en comparant et en analysant diverses techniques LLM et d'invite.
Souligne l'importance d'un LLM affiné et la dépendance du LLM aux techniques d'incitation.
Présentation des avantages potentiels et des limites de l’analyse des réponses ouvertes à l’aide de LLM.
Fournir des implications pratiques pour l’utilisation des LLM dans la recherche par sondage.
Limitations:
Les sujets de l’étude étaient limités aux données d’enquête allemandes et à des sujets spécifiques, nécessitant des recherches supplémentaires sur la généralisabilité.
Limitations dans la généralisabilité des résultats en raison des limites du LLM utilisé et de la méthode d'incitation.
Perte possible de praticité en raison de la nécessité d'un réglage fin.
Il est nécessaire de s’attaquer en permanence au problème de la distorsion de la distribution des catégories causée par le déséquilibre des performances des LLM.
👍