Dans cet article, nous proposons Savage Conversation Forests (SCF), un cadre d'apprentissage par renforcement permettant d'affiner les modèles de langage à grande échelle (MLL) pour des tâches de conversation à plusieurs tours. Les méthodes existantes, telles que DPO et GRPO, sont efficaces pour les tâches à un seul tour, mais ne conviennent pas aux tâches à plusieurs tours, telles que les entretiens de diagnostic médical, où les premiers tours de conversation influencent les résultats. SCF génère plusieurs continuations de conversation possibles pour chaque tour, permettant au modèle d'apprendre comment les réponses initiales affectent les interactions ultérieures et les résultats du diagnostic. Lors d'expériences de simulation sur des conversations médecin-patient, SCF atteint une précision diagnostique supérieure aux structures de conversation linéaires, ce qui suggère que la structure d'apprentissage ramifiée est une stratégie importante pour affiner les LLM pour des tâches de conversation complexes à plusieurs tours.
