Un algorithme de santé utilisé aux États-Unis, touchant des millions de patients, a sous-orienté de façon systématique les patients noirs vers les programmes de soins renforcés — sans aucune intention discriminatoire. À score de risque égal, ces patients étaient pourtant nettement plus malades, parce que le modèle prédisait le coût des soins plutôt que la maladie (Obermeyer et al., 2019). Le paradoxe est là : un système « neutre », optimisé pour la précision, produit une discrimination.

Définitions & histoire

Le cadre fondateur vient de Friedman & Nissenbaum (1996), dans ACM Transactions on Information Systems. Ils définissent le biais comme les systèmes informatiques qui discriminent de façon systématique et injuste certains individus ou groupes au profit d’autres. Deux conditions, donc : une discrimination systématique (et non une erreur aléatoire) jointe à un résultat injuste. Une simple imprécision statistique ne suffit pas à parler de biais.

Leur taxonomie, toujours d’actualité, distingue trois origines : le biais préexistant (enraciné dans les institutions, pratiques et attitudes sociales), le biais technique (issu de contraintes ou de choix techniques) et le biais émergent (qui apparaît dans un contexte d’usage non anticipé).

Cinq jalons datés

• 1974 — Tversky & Kahneman (Science) : les heuristiques du jugement humain produisent des biais systématiques. Socle cognitif sur lequel tout le reste se greffe.
• 1996 — Friedman & Nissenbaum : taxonomie préexistant / technique / émergent.
• 2017 — Caliskan, Bryson & Narayanan (Science) : appliquer l’apprentissage automatique au langage humain ordinaire produit des biais sémantiques humains, mesurés par le test WEAT.
• 2018–2019 — Buolamwini & Gebru (Gender Shades) puis Obermeyer et al. (Science) : la preuve empirique, en reconnaissance faciale puis en santé.
• 2021–2024 — Mehrabi et al. (synthèse ML), Bender et al. (« perroquets stochastiques »), NIST SP 1270 (2022) et Gallegos et al. (2024, synthèse LLM).

La tension définitionnelle est instructive. En 1996, le biais est une propriété du code et des données. À l’ère des grands modèles de langage, la recherche montre que les modèles ne se contentent pas de refléter les biais : ils peuvent les apprendre, les perpétuer et les amplifier (Gallegos et al., 2024). Et le NIST (Schwartz et al., 2022) déplace le centre de gravité : l’essentiel de l’attention porte sur les biais computationnels, alors que le biais exige aussi de traiter les facteurs humains et systémiques.

Pourquoi c’est critique maintenant

Les modèles sont désormais branchés sur des décisions à fort enjeu : recrutement, octroi de prêts, santé, modération de contenu (Mehrabi et al., 2021). Le NIST rappelle que les biais restent endémiques dans les processus technologiques et peuvent produire des impacts néfastes indépendamment de l’intention (Schwartz et al., 2022). Le risque nouveau n’est pas le biais en soi — il est ancien — mais l’échelle et la vitesse de propagation : un même modèle de fondation se diffuse dans des milliers d’applications, et avec lui ses angles morts.

D’où viennent les biais ? Trois grilles de lecture

Le mécanisme le plus subtil est le biais de variable-proxy : on optimise une cible mesurable (le coût) qui se substitue mal à la cible réelle (le besoin de soins). C’est exactement le ressort du cas Obermeyer.

Pour les modèles de langage, le biais entre par les données d’entraînement. Les embeddings encodent les statistiques de co-occurrence des mots : les corpus de textes contiennent des empreintes récupérables et fidèles de nos biais historiques (Caliskan et al., 2017). Bender et al. (2021) ajoutent que le corpus web reflète qui écrit en ligne — d’où des angles morts. Enfin, Gallegos et al. (2024) distinguent deux familles de préjudices : représentationnels (stéréotypes, toxicité dirigée vers un groupe) et allocatifs (répartition inégale de ressources ou d’opportunités). Pour comprendre comment ces biais s’inscrivent dans le fonctionnement même des modèles, voir comment fonctionnent les LLM et comment les IA apprennent.

Biais cognitifs humains et biais des IA : un jeu de miroirs

Avant d’être dans les machines, le biais est dans nos têtes. Tversky & Kahneman (1974) ont montré que le jugement humain repose sur des heuristiques — représentativité, disponibilité, ancrage — économiques mais qui conduisent à des erreurs systématiques et prévisibles. C’est précisément la définition du biais retenue par Friedman & Nissenbaum (1996) : systématique, et non aléatoire.

Le lien est direct. Le biais préexistant (Friedman & Nissenbaum, 1996) et la catégorie humaine du NIST (Schwartz et al., 2022) désignent la même réalité : nos biais cognitifs qui entrent dans le système — par les données que nous produisons, les étiquettes que nous posons, les variables-cibles que nous choisissons. Le cas Obermeyer est un biais humain de conception (choisir le coût comme cible) avant d’être un biais d’algorithme.

Mais le miroir a deux faces. On propose aujourd’hui l’IA comme garde-fou contre nos biais : un pré-mortem assisté (Klein, 2007 — imaginer l’échec a priori augmente d’environ 30 % la capacité à identifier les causes d’un futur échec), un assistant qui challenge un arbitrage, une cartographie de risques cognitifs. L’idée est solide. Le piège l’est tout autant : utiliser un outil biaisé pour corriger nos biais peut importer les biais du modèle dans la décision. Le débiaisage n’est jamais neutre — c’est la nuance centrale de cet article, appliquée à elle-même.

Trois cas documentés et vérifiés

Nuance : les angles morts de la recherche

L’équité n’est pas une notion unique. C’est un terme parapluie recouvrant de nombreuses définitions concurrentes, reflétant des hypothèses normatives différentes (Gallegos et al., 2024). Conséquence : optimiser un critère d’équité peut en violer un autre.

Trois limites supplémentaires :

• Retirer la variable sensible ne suffit pas : les proxies reconstituent l’information (cf. Obermeyer et al., 2019).
• La mesure elle-même est fragile : les jeux de données d’évaluation existants posent des problèmes de cohérence, de fiabilité et de validité (Gallegos et al., 2024).
• Se focaliser sur le computationnel laisse le systémique et l’humain sous-mesurés (Schwartz et al., 2022).

En pratique : ce que la littérature recommande

• Auditer par sous-groupe, pas seulement la précision agrégée — la leçon intersectionnelle de Gender Shades.
• Interroger la variable-cible et les proxies avant de toucher au modèle (coût ≠ besoin).
• Documenter les jeux de données : curer et documenter soigneusement plutôt qu’ingérer tout le web (Bender et al., 2021).
• Mesurer à plusieurs niveaux — embeddings, probabilités, texte généré (taxonomie de Gallegos et al., 2024).
• Coupler technique et gouvernance : datasets, test/évaluation, facteurs humains (NIST). Côté modèle, l’alignement (RLHF, Constitutional AI) est une voie d’atténuation parmi d’autres.

FAQ

Un modèle « neutre » existe-t-il ?

Non. Le biais est systématique ; l’absence de biais est un critère de qualité visé, pas un état par défaut (Friedman & Nissenbaum, 1996).

Retirer le genre ou l’origine des données suffit-il ?

Non. Des variables corrélées (proxies) reconstituent l’information retirée (Obermeyer et al., 2019).

Les grands modèles sont-ils moins biaisés que les anciens ?

Pas nécessairement. Ils peuvent amplifier les biais présents dans les données (Gallegos et al., 2024).

Le biais vient-il des concepteurs ?

En partie seulement. Données, proxies et contexte d’usage pèsent souvent davantage que l’intention (Schwartz et al., 2022). Mais nos biais cognitifs (Tversky & Kahneman, 1974) y entrent par les choix de conception.

Recherches futures

• L’incompatibilité des définitions d’équité : quel critère normatif pour quel contexte managérial ?
• La validité des protocoles de mesure du biais, lacune explicitement signalée par Gallegos et al. (2024).
• Les dynamiques d’amplification : quand et pourquoi un modèle amplifie-t-il plutôt qu’il ne reflète ?
• Le biais multilingue et culturel hors anglais, angle mort relevé par Bender et al. (2021).

Pour l’enseignement

Benchmark outils : comparer deux bibliothèques d’audit d’équité (p. ex. IBM AI Fairness 360 vs Fairlearn) sur un même jeu de données : métriques proposées, lisibilité du rapport, coût d’intégration. Rendu attendu : tableau comparatif + recommandation argumentée d’une page.

Références (APA 7)

1. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21), 610–623. https://doi.org/10.1145/3442188.3445922 ✓
2. Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, 81, 77–91. ✓
3. Caliskan, A., Bryson, J. J., & Narayanan, A. (2017). Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334), 183–186. https://doi.org/10.1126/science.aal4230 ✓
4. Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. ACM Transactions on Information Systems, 14(3), 330–347. https://doi.org/10.1145/230538.230561 ✓
5. Gallegos, I. O., Rossi, R. A., Barrow, J., Tanjim, M. M., Kim, S., Dernoncourt, F., Yu, T., Zhang, R., & Ahmed, N. K. (2024). Bias and fairness in large language models: A survey. Computational Linguistics, 50(3), 1097–1179. https://doi.org/10.1162/coli_a_00524 ✓
6. Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. ✓
7. Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys, 54(6), Article 115. https://doi.org/10.1145/3457607 ✓
8. Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342 ✓
9. Schwartz, R., Vassilev, A., Greene, K., Perine, L., Burt, A., & Hall, P. (2022). Towards a standard for identifying and managing bias in artificial intelligence (NIST Special Publication 1270). National Institute of Standards and Technology. https://doi.org/10.6028/NIST.SP.1270 ✓
10. Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124–1131. https://doi.org/10.1126/science.185.4157.1124 ✓

Cet article a été rédigé avec l’assistance de Claude (Anthropic). Les dix références académiques ont fait l’objet d’une vérification via recherche web (DOI ou éditeur confirmés) avant publication.