Comprendre l’IA · Vision par ordinateur · ~13 min de lecture

Pendant trente ans, « voir » pour une machine a voulu dire « convoluer ». Puis en 2020, une équipe de Google démontre qu’un Transformer pur, sans la moindre convolution, égale les meilleurs réseaux convolutifs (Dosovitskiy et al., 2021). Le détail qui dérange : cette victoire n’apparaît qu’au-delà de cent millions d’images. L’architecture qui détrône la convolution a d’abord eu besoin d’un océan de données pour y parvenir.

Deux généalogies, deux paris sur la connaissance

Un réseau de neurones convolutif (CNN) traite une image avec des filtres locaux qui balaient la surface, en supposant que les pixels voisins sont liés et qu’un motif reste le même où qu’il apparaisse. Ces deux hypothèses portent un nom : le biais inductif. L’architecture les inscrit dans sa structure même. Elle a été posée par LeCun et ses collègues pour reconnaître des codes postaux manuscrits (LeCun et al., 1989), puis stabilisée avec LeNet-5 (LeCun et al., 1998).

Le Vision Transformer (ViT) fait le pari inverse. Il n’inscrit presque aucune hypothèse sur les images. Il découpe l’image en petites tuiles — des « patches » de 16×16 pixels — qu’il traite comme une phrase faite de mots (Dosovitskiy et al., 2021). Son moteur est le mécanisme d’attention, hérité du traitement du langage (Vaswani et al., 2017) : chaque tuile « regarde » toutes les autres et pondère leur importance. Là où le CNN présuppose, le ViT apprend depuis les données.

Cinq jalons pour situer le débat

La tension originelle est philosophique. LeCun défendait que contraindre le réseau avec les régularités de la tâche améliore sa capacité à généraliser. Le ViT renverse cette idée : moins on contraint, plus le modèle peut découvrir des structures inattendues — à condition de lui fournir assez d’exemples.

Pourquoi cette opposition compte maintenant

Le choix d’architecture n’est plus un détail d’ingénieur. Il décide du coût de calcul, de la quantité de données nécessaires et de la possibilité d’embarquer un modèle sur un appareil contraint (téléphone, caméra industrielle, scanner). Deux faits structurent le débat actuel.

D’abord, le matériel. Les CNN sont optimisés depuis quinze ans pour les GPU et les NPU. Leur complexité par couche croît linéairement avec le nombre de pixels, notée O(H×W). Ensuite, le coût de l’attention. Dans un ViT, chaque tuile se compare à toutes les autres : la complexité devient quadratique, de l’ordre de O(N²×D), où N est le nombre de tuiles et D la dimension de représentation. Doubler la résolution multiplie le coût bien plus vite. C’est le verrou central des hautes résolutions.

Ce débat est particulièrement vif en imagerie médicale, où une revue systématique de 36 études (2024) observe une tendance favorable aux ViT, mais souligne que le pré-entraînement reste déterminant pour qu’ils dépassent les CNN (Comparison of Vision Transformers and CNNs in Medical Image Analysis, 2024).

Sous le capot : filtre local contre attention globale

La différence tient en une phrase. Le CNN construit sa compréhension de proche en proche ; le ViT relie tout d’emblée.

Dans un CNN, un filtre ne voit qu’un petit voisinage. Le « champ réceptif » — la zone d’image qu’un neurone perçoit réellement — ne s’élargit qu’en empilant les couches. Pour qu’un coin haut gauche « parle » à un coin bas droit, il faut traverser de nombreuses couches. C’est efficace, économe, mais myope au départ.

Dans un ViT, le mécanisme d’attention met en relation toutes les tuiles dès la première couche. Les dépendances à longue distance sont gérées immédiatement — un avantage pour les scènes complexes où le sens naît de l’agencement global. Le prix à payer est cette complexité quadratique et un appétit en données qui compense l’absence de biais inductif.

Un cas documenté : l’imagerie médicale

L’imagerie médicale offre un terrain d’observation rigoureux, car les jeux de données y sont souvent limités et de haute résolution — exactement les conditions qui opposent les deux familles. La revue systématique citée plus haut, qui agrège 36 études comparant ViT et CNN sur des images médicales, conclut à un potentiel marqué des ViT, tout en insistant sur le rôle décisif du pré-entraînement (Comparison of Vision Transformers and CNNs in Medical Image Analysis, 2024).

Une étude comparative en pathologie numérique nuance ce tableau : sur des tâches de classification d’images histologiques, un ViT peut demander plus d’efforts d’entraînement qu’un ResNet pour atteindre un niveau comparable, ce qui rappelle que l’avantage du Transformer n’est pas automatique (étude comparative ViT/CNN en pathologie numérique, 2022). Aucun chiffre unique ne tranche : le verdict dépend de la taille des données et de l’accès à un modèle pré-entraîné.

La nuance : l’opposition se dissout

Présenter CNN et ViT comme deux camps adverses est devenu trompeur. La recherche récente cherche surtout à doser le biais inductif plutôt qu’à choisir un camp.

Le Swin Transformer réintroduit la localité et la hiérarchie dans le Transformer : il calcule l’attention à l’intérieur de fenêtres, ce qui ramène la complexité à un coût linéaire en taille d’image (Liu et al., 2021). Il a reçu le prix du meilleur article à l’ICCV 2021. À l’inverse, le modèle DETR conserve un extracteur convolutif pour les caractéristiques locales, puis confie le raisonnement global à un Transformer (Carion et al., 2020). C’est précisément la synthèse hybride : le local du CNN, le global de l’attention.

Autrement dit, la vraie question n’est plus « CNN ou ViT ? » mais « quelle dose de présupposés veux-je inscrire dans mon modèle, compte tenu de mes données et de mon matériel ? ».

Comment décider, concrètement

Quelques repères déduits de la littérature, à pondérer selon votre contexte.

Questions fréquentes

Questions ouvertes pour la recherche

Plusieurs lacunes restent vives pour les chercheurs en SI, marketing et management de l’IA.

• Comment quantifier le « bon » niveau de biais inductif pour une tâche donnée, plutôt que de le choisir empiriquement ?
• Quelles méthodes rendent les ViT performants sur petits jeux de données sans pré-entraînement massif ?
• Comment réduire le coût quadratique de l’attention en haute résolution sans sacrifier la portée globale ?
• Quel cadre de décision pour arbitrer coût énergétique, performance et explicabilité dans un contexte réglementé (santé, finance) ?

Ressources pédagogiques

Prompt pédagogique

Master : analyse critique de la justification. MAE : application à un cas terrain de leur entreprise.

Jeu de rôle

Persona : Léa, data lead d’une PME de dispositifs médicaux. Budget GPU limité, 4 000 images étiquetées, déploiement visé sur scanner embarqué. Le comité veut « du Transformer parce que c’est moderne ». Objectif pédagogique : défendre un choix d’architecture argumenté face à un effet de mode.

Question socratique

Si retirer des hypothèses rend un modèle plus puissant à grande échelle, pourquoi l’humain, lui, apprend-il à voir avec si peu d’exemples ?

Mini-cas (10 min)

DETR (Facebook AI / Meta, Carion et al., 2020) supprime des étapes artisanales de la détection d’objets. Questions : (1) Quel rôle joue encore le CNN dans DETR ? (2) Pourquoi DETR détecte-t-il mieux les grands objets que les petits ? (3) En quoi est-ce un modèle hybride et non un ViT pur ?

Benchmark outils

Comparer trois dorsales pré-entraînées (un ResNet, un ViT-Base, un Swin-Tiny) sur un même jeu d’images. Critères : exactitude, temps d’inférence, mémoire, nombre de paramètres. Format de rendu : tableau + recommandation d’une demi-page.

Références

Cet article a été rédigé avec l’assistance de Claude (Anthropic). Toutes les références académiques ont fait l’objet d’une vérification via recherche web avant publication. Les références marquées ⚠️ restent à confirmer sur leur source primaire.