Imaginez un apprenti cuisinier qui maîtrise déjà mille techniques. Il sait tout faire… mais pas forcément ce qui plaît à vos clients. Pour l’affiner, vous ne lui réécrivez pas chaque recette : vous le faites cuisiner, un jury goûte, dit « celui-ci, oui ; celui-là, non », et l’apprenti ajuste son style jusqu’à ravir la salle. Cette méthode a un nom en intelligence artificielle : le RLHF. C’est, très concrètement, ce qui sépare un modèle brut de l’assistant poli qui vous répond aujourd’hui.
Définition : la même idée, à trois hauteurs
On montre à l’IA plusieurs réponses possibles, des humains désignent les meilleures, et l’IA apprend à produire ce que les humains préfèrent. Au lieu de lui dicter la règle, on lui donne notre goût.
Le RLHF (apprentissage par renforcement à partir de retours humains) ajuste un modèle déjà entraîné en se servant de classements humains : on en tire un « modèle de récompense » qui note les réponses, puis on optimise l’IA pour maximiser cette note.
Le RLHF entraîne un modèle de récompense sur des préférences humaines par paires, puis optimise la politique du modèle de langage contre cette récompense par apprentissage par renforcement, sous contrainte de ne pas trop s’éloigner du modèle initial.
L’analogie-maîtresse : l’apprenti cuisinier et le jury de dégustation
Notre apprenti a déjà tout appris des livres : c’est le modèle pré-entraîné, gavé de textes, capable de produire mille réponses plausibles. Mais « plausible » n’est pas « ce que vous voulez ». Il peut être trop bavard, maladroit, parfois carrément à côté. Il faut l’affiner à votre table.
Première étape : on lui demande de préparer, pour un même plat, plusieurs versions. Un jury humain les goûte et les classe : « la version A est meilleure que la B ». Notez qu’on ne note pas dans l’absolu — on compare. C’est plus facile et plus fiable de dire « je préfère celle-ci » que d’attribuer une note sur 20.
Deuxième étape, l’astuce centrale : un jury humain ne peut pas goûter des millions de plats. On forme donc un goûteur automatique qui a appris les préférences du jury et peut, à sa place, noter instantanément n’importe quelle assiette. En langage technique, ce goûteur s’appelle le modèle de récompense.
Troisième étape : l’apprenti cuisine encore et encore, et à chaque plat le goûteur lui donne une note. L’apprenti ajuste sa façon de faire pour maximiser cette note — exactement la logique de l’apprentissage par renforcement, où l’on apprend par récompense plutôt que par correction. Petit à petit, son style s’aligne sur le goût du jury.
Le résultat, c’est un cuisinier qui ne se contente plus d’être techniquement correct : il devient agréable à fréquenter. Voilà pourquoi le RLHF est la brique concrète de l’alignement : on ne reprogramme pas les valeurs de l’IA, on lui transmet des préférences par l’exemple. C’est aussi une forme de fine-tuning : on ne réapprend pas à cuisiner depuis zéro, on affine un savoir-faire déjà là.
Là où l’analogie s’arrête. Le goût du jury n’est pas neutre. Si les juges ont des préférences étroites ou des angles morts, le cuisinier les héritera — et les amplifiera, car il optimise pour leur plaire. Le RLHF ne supprime donc pas les biais : il encode ceux des personnes qui ont fourni les retours. Et un cuisinier trop obsédé par la note peut « tricher » pour plaire au goûteur sans vraiment mieux cuisiner.
Le RLHF, en un schéma
Déconstruction : du cuisinier au modèle
| Notion technique | Dans notre analogie | En réalité, sans jargon |
|---|---|---|
| Modèle pré-entraîné | L’apprenti qui sait déjà tout cuisiner | Le modèle de langage brut, compétent mais non aligné |
| Préférences humaines | Le jury qui classe les plats | Des humains comparent des réponses deux à deux |
| Modèle de récompense | Le goûteur qui a appris le goût du jury | Un modèle qui note les réponses à la place des humains |
| Optimisation par renforcement | L’apprenti ajuste son style pour plaire | Le modèle modifie ses réponses pour augmenter sa note |
| Piratage de la récompense | Tricher pour flatter le goûteur | Maximiser la note sans vraiment mieux répondre |
Ce que ça change pour vous
- Le « ton » d’une IA est un choix, pas un hasard. Sa politesse, sa prudence, ses refus : tout cela vient de préférences humaines injectées par RLHF. Deux assistants peuvent différer simplement parce que leurs jurys n’avaient pas le même goût.
- « Aligné » ne veut pas dire « neutre ». Le modèle reflète les préférences de celles et ceux qui l’ont noté. Bon à savoir avant de traiter ses réponses comme une vérité objective.
- Plaire et avoir raison sont deux choses. Le RLHF optimise ce que les humains préfèrent lire, ce qui n’est pas toujours ce qui est exact. Cela peut renforcer une assurance trompeuse — une piste pour comprendre certaines hallucinations bien présentées.
- La qualité des évaluateurs est stratégique. Qui note ? Selon quels critères ? Pour un usage professionnel, ces questions valent plus que la taille du modèle.
FAQ pour débuter
Les deux articles fondateurs
1. Christiano et al. fondent l’apprentissage par préférences (2017)
Contexte. Comment apprendre à une machine une tâche dont l’objectif est difficile à écrire en équation — par exemple « faire un salto » ou « être utile » ?
Idée centrale. Plutôt que de programmer la récompense, on demande à des humains de comparer des comportements deux à deux ; un modèle de récompense apprend ces préférences et guide l’apprentissage.
Pourquoi ça compte. C’est l’acte de naissance du RLHF : l’idée qu’on peut piloter une IA par le jugement humain comparatif, sans formuler explicitement l’objectif.
✅ Christiano, P. F., Leike, J., Brown, T. B., Martic, M., Legg, S., & Amodei, D. (2017). Deep Reinforcement Learning from Human Preferences. Advances in Neural Information Processing Systems, 30, 4299–4307.
2. Ouyang et al. appliquent le RLHF aux LLM — InstructGPT (2022)
Contexte. Les grands modèles de langage savent prédire du texte, mais ne suivent pas forcément les intentions de l’utilisateur — ils peuvent être inexacts ou inutiles.
Idée centrale. En affinant GPT-3 par RLHF (démonstrations humaines, puis classements, puis optimisation), les auteurs obtiennent un modèle bien plus utile — au point qu’une version 100 fois plus petite est préférée à l’originale.
Pourquoi ça compte. C’est la recette directe derrière les assistants conversationnels modernes : aligner par le feedback compte plus que grossir le modèle.
✅ Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730–27744.
Trois prompts pour apprendre
Explique-moi le RLHF avec une analogie autre que le cuisinier et son jury, puis identifie qui joue le rôle du « modèle de récompense » dans ton analogie.
🎯 Explorer | 📚 Ce qu’on apprend : repérer le rôle clé du goûteur automatique.
Donne-moi deux réponses différentes à la question « comment rédiger un mail de relance ? », puis demande-moi laquelle je préfère et pourquoi.
🎯 Vivre le mécanisme | 📚 Ce qu’on apprend : ressentir le classement par préférence, cœur du RLHF.
Si une IA est entraînée à me plaire, dans quels cas cela pourrait-il la pousser à me dire ce que je veux entendre plutôt que la vérité ? Donne 3 exemples concrets en entreprise.
🎯 Esprit critique | 📚 Ce qu’on apprend : relier « plaire » et risque de complaisance.
📝 Note méthodologique. Cet article a été rédigé avec l’aide d’une IA générative, sur la base d’un gabarit pédagogique et d’analogies conçus par l’autrice. Les deux références fondatrices ont été vérifiées manuellement. L’objectif reste pédagogique : rendre un concept technique accessible aux étudiants et cadres en management.
Related posts:
Comment les IA apprennent : supervisé, non supervisé, renforcement (comme une langue étrangère)
Rétropropagation et descente de gradient : comment une IA apprend (l’analogie de la montagne dans le brouillard) Exercices et Prompts
Le surapprentissage : pourquoi une IA qui bachote échoue (l’analogie de l’étudiant qui révise les annales) Exercices et Prompts
Token : comprendre comment une IA découpe vos mots avant de les lire
Comment fonctionnent les LLM ? L’analogie de l’apprenti bibliothécaire universel
Enseigner le concept de paramètre en IA L’analogie avec une directrice marketing exercices, prompts
Qu’est-ce qu’un artefact en IA ? L’analogie du chantier archéologique Exercices Prompts
Tout comprendre à la vectorisation par les LLM Exercices et Prompts
