Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Sarc7 : Évaluation de la détection et de la génération du sarcasme avec sept types et des techniques basées sur les émotions

Created by
  • Haebom

Auteur

Lang Xiong, Raina Gao, Alyssa Jeong, Yicheng Fu, Sean O'Brien, Vasu Sharma, Kevin Zhu

Contour

Cet article se concentre sur la classification et la génération du sarcasme à l'aide de modèles linguistiques à grande échelle. Pour relever les défis de la détection du sarcasme, nous présentons le benchmark Sarc7, qui classe sept types de sarcasme : autodérision, morose, neutre, poli, désagréable, furieux et maniaque, à partir du jeu de données MUStARD. Nous évaluons les performances de classification à l'aide des techniques « zéro-coup », « peu-coup », « Chaîne de pensée » (CoT) et d'une nouvelle technique d'incitation basée sur les émotions. Nous proposons ensuite une méthode de génération basée sur les émotions en identifiant les éléments clés du sarcasme : l'incongruité, le choc et la dépendance contextuelle. Les résultats expérimentaux montrent que le modèle Gemini 2.5 a obtenu un score F1 de 0,3664 avec l'incitation basée sur les émotions, surpassant ainsi les autres contextes. Les évaluateurs humains ont estimé que l'incitation basée sur les émotions était 38,46 % plus efficace pour générer du sarcasme que l'incitation zéro-coup.

Takeaways, Limitations_

Takeaways:
A contribué à la recherche sur la détection du sarcasme en proposant une nouvelle référence, Sarc7, qui classe sept types de sarcasme.
Nous présentons la possibilité d’améliorer la classification du sarcasme et les performances de génération de modèles linguistiques à grande échelle en utilisant des techniques d’incitation basées sur les émotions.
L’efficacité de l’incitation basée sur les émotions a été vérifiée par des résultats expérimentaux utilisant le modèle Gemini 2.5.
Limitations:
Le score F1 de 0,3664 reste faible, malgré la grande difficulté du problème de classification du sarcasme. Des recherches supplémentaires sont nécessaires pour obtenir de meilleures performances.
Une validation supplémentaire des performances de généralisation des incitations basées sur les émotions est nécessaire.
Il existe une dépendance à un modèle spécifique (Gemini 2.5) et des résultats expérimentaux pour d'autres modèles sont requis.
En raison de la dépendance à l'égard de l'ensemble de données MUStARD, une validation des performances sur d'autres ensembles de données est requise.
👍