Cet article aborde les préoccupations concernant la tendance des modèles linguistiques à grande échelle (MLH) à coder et reproduire les biais idéologiques politiques et économiques. Nous présentons un cadre d'étude et d'atténuation de ces biais dans les LMH basés sur des décodeurs, en utilisant des paires contrastives qui extraient et comparent les activations des couches cachées de modèles comme Mistral et DeepSec, en s'appuyant sur le test de la boussole politique (PCT). Nous introduisons un pipeline complet d'extraction d'activations capable d'une analyse couche par couche sur plusieurs axes idéologiques, révélant des différences significatives dans le cadrage politique. Par conséquent, nous démontrons que les LMH basés sur des décodeurs codent systématiquement les biais de représentation à travers les couches, ce qui peut être exploité pour une atténuation efficace basée sur les vecteurs de pilotage. Au-delà des interventions superficielles sur les résultats, nous présentons une approche raisonnée du débiasing, apportant de nouvelles perspectives sur la manière dont les biais politiques sont codés dans les LMH.
