Exercices et prompts à la fin de l’article.

Vous convoquez une réunion stratégique. La salle fait vingt places. Vous regardez votre liste d’invités — marketing, finance, produit, juridique, terrain, direction — et vous comprenez qu’il va falloir arbitrer. Certains dossiers entreront dans la salle, d’autres resteront dehors. Et chaque participant supplémentaire alourdira la délibération.

La fenêtre de contexte, en trois phrases

Niveau 1 — Tout public

La fenêtre de contexte, c’est la quantité maximale de texte qu’une IA peut lire et garder en tête en une seule fois.

Niveau 2 — Manager

C’est la mémoire de travail du modèle pour une requête donnée. Elle inclut votre prompt, les documents joints, l’historique de la conversation et la réponse générée. Tout cela partage le même espace fini.

Niveau 3 — Académique

La fenêtre de contexte est le nombre maximal de positions que le mécanisme d’attention d’un Transformer peut traiter simultanément, borné par des contraintes de mémoire et de calcul généralement quadratiques en la longueur de la séquence.

L’analogie-maîtresse : la table de conférence

Imaginez que vous organisez une réunion décisive. Vous disposez d’une salle avec une table de conférence à capacité fixée — disons vingt chaises. Chaque personne que vous invitez occupe une place. Chacune apporte une information, un dossier, un point de vue.

Autour de cette table, tous les participants s’entendent et se voient. Quand l’un prend la parole, les autres intègrent ce qu’il dit pour formuler leur propre contribution. Le directeur juridique répond à la directrice financière ; le marketing réagit au juridique ; la direction générale synthétise l’ensemble. La valeur de la réunion ne vient pas de la somme des présences, mais du maillage de leurs interactions.

Un modèle de langage fonctionne sur ce principe. Chaque token présent dans sa fenêtre de contexte est un « participant » à la réunion. Le mécanisme d’attention permet à chaque token d’écouter tous les autres et d’ajuster sa contribution en fonction. Votre prompt, vos documents, l’historique de la conversation : tout est à la table en même temps.

Mais la salle a une capacité finie. Si vous tentez d’y faire entrer plus de monde que de chaises, deux scénarios se produisent. Soit la porte est fermée aux retardataires — votre document est tronqué, et ce qui dépasse disparait. Soit vous faites sortir les premiers entrés pour faire de la place aux derniers — c’est le mécanisme de fenêtre glissante des longues conversations. Dans les deux cas, ce qui sort de la salle cesse d’exister pour le modèle.

Dernière subtilité : plus la salle est grande, plus la réunion coûte cher. Pas linéairement — quadratiquement. Doubler le nombre de chaises ne double pas le coût : il le quadruple, parce que le nombre d’interactions possibles entre participants croît avec le carré de leur effectif. C’est la raison mathématique pour laquelle agrandir une fenêtre de contexte coûte plus cher qu’on ne l’imagine.

Les limites de cette image. Dans une vraie réunion, un participant qui sort garde un souvenir partiel de ce qu’il a entendu. Un token qui sort de la fenêtre de contexte, lui, disparaît totalement : aucune trace, aucun résidu. Les LLM ont également tendance à mieux retenir ce qui est en début et en fin de fenêtre qu’au milieu — c’est le phénomène du « lost in the middle ».

Les rouages, traduits

Six notions techniques, chacune avec son équivalent dans la salle de réunion et sa traduction simple.

Ce que ça change pour vous

1. Le choix du modèle dépend d’abord de la taille de vos documents. Les fenêtres s’échelonnent de quelques dizaines de milliers à plus d’un million de tokens. Un rapport annuel de 80 pages tient dans 128 000 tokens ; un corpus de 50 rapports, non.
2. Les conversations longues finissent par « oublier » leur début. Au-delà d’un certain seuil, les premiers échanges glissent hors de la fenêtre. L’IA ne vous contredit pas : elle ne voit simplement plus ce que vous lui aviez dit.
3. Une grande fenêtre ne vaut pas toujours mieux qu’une bonne base documentaire. Pour beaucoup d’usages, une architecture RAG qui ne récupère que les passages pertinents donne de meilleurs résultats à budget égal.
4. Le coût ne s’additionne pas, il se multiplie. Passer de 20 000 à 200 000 tokens ne coûte pas dix fois plus cher : l’attention croît en carré.
5. Le « milieu » de vos documents est le moins bien traité. Placez les instructions critiques au début ou à la fin de vos documents.

FAQ débutants

Les deux articles fondateurs

① Vaswani et al. (2017) — Attention Is All You Need. Le papier fondateur de toute la génération actuelle d’IA générative. GPT, Claude, Gemini, Llama, Mistral : toutes sont des variantes du Transformer. arxiv.org/abs/1706.03762

② Beltagy, Peters & Cohan (2020) — Longformer. L’un des premiers papiers qui ouvre la voie aux fenêtres longues en introduisant l’attention locale. Le calcul devient linéaire au lieu de quadratique. arxiv.org/abs/2004.05150

Trois prompts pour explorer par vous-même

Prompt 1 — Explorer

Objectif : connaître la capacité réelle du modèle utilisé. Ce qu’on apprend : calibrer ses attentes au bon ordre de grandeur.

Prompt 2 — Tester sa compréhension

Objectif : expérimenter l’effet « lost in the middle ». Ce qu’on apprend : la qualité d’attention n’est pas uniforme dans la fenêtre.

Prompt 3 — Cas pratique management

Objectif : arbitrer entre deux architectures. Ce qu’on apprend : grande fenêtre n’est pas toujours la bonne réponse.