Cet article présente les résultats d'une expérience sur deux approches visant à simplifier le processus d'extraction de données des revues de portée à l'aide du modèle de langage à grande échelle (LLM), Claude 3.5 Sonnet. L'extraction des données a été réalisée à l'aide d'un protocole de revue prédéfini pour 10 sources de preuves, et une revue basée sur le protocole a été réalisée sur les données extraites. Une précision élevée (83,3 % et 100 %) a été obtenue pour l'extraction d'informations de citation simples et clairement définies, mais une faible précision (9,6 % et 15,8 %) a été obtenue pour l'extraction d'éléments de données complexes et subjectifs. Lorsque tous les éléments de données ont été pris en compte, les deux approches ont atteint une précision supérieure à 90 %, mais le rappel était inférieur à 25 % et les scores F1 étaient inférieurs à 40 %. Le contexte complexe de la revue de portée, le format de réponse ouvert et l'approche méthodologique peuvent avoir influencé la performance. Les commentaires du LLM ont suggéré que les résultats d'extraction de base étaient exacts et ne nécessitaient que des modifications mineures, mais des expériences répétées utilisant un ensemble de données contenant des erreurs intentionnelles n'ont détecté que 5 % des erreurs.
