Cet article examine si l'apprentissage en contexte (ICL) des modèles linguistiques à grande échelle (LLM) effectue une inférence structurelle cohérente avec un cadre bayésien ou s'appuie sur la correspondance de motifs. En utilisant un environnement contrôlé de tirages au sort biaisés, nous constatons que (1) les LLM ont souvent des a priori biaisés, ce qui entraîne des différences initiales dans le cadre du zéro coup, (2) les preuves en contexte l'emportent sur les indications de biais explicites, (3) les LLM suivent largement les mises à jour de probabilité postérieure bayésienne, mais les différences sont principalement dues à des a priori mal calibrés et non à des artefacts de mise à jour, et (4) la taille de l'attention a un effet négligeable sur l'inférence bayésienne. Avec suffisamment de démonstrations de tirages au sort biaisés via ICL, les LLM mettent à jour leurs a priori de manière bayésienne.
