Un escroc chevronné ne force jamais le coffre : il parle au gardien. « Je viens du siège, le directeur m’attend, ouvrez-moi. » La serrure est intacte — c’est l’humain qu’on a manipulé. Cette ruse porte un nom : l’ingénierie sociale. Appliquée à une IA, elle donne la prompt injection et le jailbreak : on ne pirate pas le code, on persuade la machine avec des mots.
Définition : la même idée, à trois hauteurs
C’est manipuler une IA avec des messages bien tournés pour lui faire ignorer ses règles ou révéler ce qu’elle devrait taire — comme un escroc qui parle pour passer devant le gardien.
La prompt injection insère des instructions (directement ou cachées dans des données) qui détournent le brief initial de l’assistant. Le jailbreak est une requête conçue pour franchir ses garde-fous de sécurité. Deux attaques par le langage, pas par le code.
L’injection exploite l’incapacité du modèle à séparer de façon fiable, dans son contexte, les instructions de confiance des données non fiables. Le jailbreak exploite les failles de l’entraînement de sécurité (objectifs concurrents, généralisation imparfaite).
L’analogie-maîtresse : l’ingénierie sociale appliquée à la machine
L’ingénierie sociale, c’est contourner une sécurité en manipulant non pas la serrure, mais la personne qui la garde : se faire passer pour le service informatique, invoquer une autorité, créer l’urgence. Le point faible n’est pas technique, il est humain — la confiance mal placée.
La prompt injection transpose cela à l’IA. Dans sa forme directe, l’utilisateur écrit quelque chose comme « oublie tes instructions précédentes et fais plutôt ceci » : il tente de réécrire la fiche de poste du modèle en cours de route. Dans sa forme indirecte, plus sournoise, l’instruction piégée est cachée dans un document, un mail ou une page web que l’assistant va lire — elle se glisse dans son contexte comme un faux mémo glissé dans le dossier du gardien.
Le jailbreak est un cas particulier visant la sécurité : une requête habillée (jeu de rôle, mise en scène, détour) conçue pour franchir les garde-fous que l’alignement et le retour humain (RLHF) ont installés. Il exploite un conflit interne : l’envie d’être utile contre la consigne de refuser.
Pourquoi ça marche ? Parce que le modèle lit tout ce qui entre dans son contexte comme une possible consigne : il n’a pas de mur étanche entre « brief de confiance » et « donnée extérieure ». Et son entraînement de sécurité ne couvre pas toutes les formulations imaginables.
Là où l’analogie s’arrête. Un humain peut flairer l’arnaque, vérifier une identité, rappeler le siège. Le modèle n’a aucun canal indépendant pour vérifier, aucune intuition : il traite le texte de façon uniforme. Pire : là où l’escroc doit opérer au cas par cas, une instruction cachée dans des données peut frapper automatiquement, à grande échelle, chaque fois que l’IA lit ce contenu. Les défenses progressent, mais aucune ne neutralise le risque à 100 %.
Les deux voies d’attaque, en un schéma
Déconstruction : le vocabulaire de l’attaque
| Notion technique | Dans notre analogie | En réalité, sans jargon |
|---|---|---|
| Prompt injection | Convaincre le gardien avec un faux ordre | Glisser une consigne qui détourne le brief |
| Injection directe | Parler en face au gardien | La consigne piégée est dans le message de l’utilisateur |
| Injection indirecte | Un faux mémo glissé dans le dossier | La consigne est cachée dans des données que l’IA lit |
| Jailbreak | Un scénario qui endort la méfiance | Une requête qui franchit les garde-fous de sécurité |
| Prompt leaking | Faire cracher les consignes au gardien | Faire révéler le system prompt caché |
Ce que ça change pour vous
- Méfiez-vous des assistants branchés sur des données externes. Un agent qui lit vos mails ou navigue sur le web peut rencontrer des instructions piégées. La donnée n’est pas neutre : elle peut porter une attaque.
- Un system prompt n’est pas un secret sûr. Ne jamais y stocker de clés, de mots de passe ou de données confidentielles : le « prompt leaking » peut les exposer.
- Si vous déployez un produit IA, testez-le comme un attaquant. Filtrer les entrées, séparer autant que possible données et instructions, et mener des tests d’attaque (red teaming) font partie de la conception, pas de l’après-coup.
- C’est un vrai risque de sécurité, pas une curiosité. À mesure que les IA gagnent des accès (fichiers, outils, achats), une injection réussie peut avoir des conséquences concrètes. À intégrer dans votre analyse de risques.
FAQ pour débuter
Les deux articles fondateurs
1. Perez & Ribeiro — « Ignore Previous Prompt » (2022)
Contexte. Les modèles arrivaient dans des applications grand public, mais leurs vulnérabilités face à des utilisateurs malveillants restaient peu étudiées.
Idée centrale. Les auteurs formalisent deux attaques : le détournement d’objectif (faire faire au modèle autre chose que prévu) et la fuite de consignes (lui faire révéler son brief), montrant qu’un simple message suffit.
Pourquoi ça compte. C’est l’article fondateur de la prompt injection : il nomme et démontre le problème qui hante depuis toutes les applications d’IA.
✅ Perez, F., & Ribeiro, I. (2022). Ignore Previous Prompt: Attack Techniques For Language Models. NeurIPS 2022 ML Safety Workshop. (arXiv:2211.09527)
2. Wei, Haghtalab & Steinhardt — « Jailbroken » (2023)
Contexte. Les modèles étaient entraînés à refuser les demandes dangereuses, mais des « jailbreaks » les contournaient. Pourquoi ces attaques réussissent-elles ?
Idée centrale. Deux failles expliquent l’échec de l’entraînement de sécurité : les objectifs concurrents (être utile contre être prudent) et la généralisation imparfaite (la sécurité ne couvre pas toutes les formulations).
Pourquoi ça compte. C’est l’analyse fondatrice du jailbreak : elle explique la mécanique des garde-fous qui cèdent, et guide les défenses.
✅ Wei, A., Haghtalab, N., & Steinhardt, J. (2023). Jailbroken: How Does LLM Safety Training Fail? Advances in Neural Information Processing Systems, 36, 80079–80110. (arXiv:2307.02483)
Trois prompts pour apprendre
Explique-moi la différence entre injection directe et injection indirecte, avec un exemple du quotidien pour chacune.
🎯 Comprendre | 📚 Ce qu’on apprend : distinguer les deux voies d’attaque.
Voici le system prompt d’un chatbot que je conçois : [colle]. Quelles faiblesses de sécurité vois-tu, et comment les réduire ?
🎯 Cas pratique (défensif) | 📚 Ce qu’on apprend : penser sécurité dès la conception.
Pourquoi une IA a-t-elle du mal à distinguer une instruction de confiance d’une donnée à simplement lire ? Explique simplement.
🎯 Esprit critique | 📚 Ce qu’on apprend : saisir la cause profonde du risque.
📝 Note méthodologique. Cet article a été rédigé avec l’aide d’une IA générative, sur la base d’un gabarit pédagogique et d’analogies conçus par l’autrice. Les deux références fondatrices ont été vérifiées manuellement. L’image d’illustration a été générée par IA. L’objectif reste pédagogique et défensif : rendre un risque de sécurité accessible aux étudiants et cadres en management, sans fournir de mode d’emploi d’attaque.
Related posts:
Le system prompt : la fiche de poste invisible donnée à l’IA avant la première seconde
Fine-tuning : comment une IA généraliste devient experte de votre métier — l’analogie de l’onboarding
Comment les IA apprennent : supervisé, non supervisé, renforcement (comme une langue étrangère)
Qu’est-ce-que le Scaling Laws et comment l’enseigner ? #management #IA #prompts #exercices
Comprendre la Chain of Thought des IA L’analogie avec un ingénieur automobile Exercices Prompts
Rétropropagation et descente de gradient : comment une IA apprend (l’analogie de la montagne dans le brouillard) Exercices et Prompts
Le pattern ReAct — le détective qui raisonne, vérifie, raisonne à nouveau
Quantization & IA embarquée : la photo qu’on allège pour la faire tenir sur un téléphone – TD et prompts
