Pourquoi ne pas activer tous les experts d'un MoE ?

Ce serait ruineux en calcul et annulerait l'intérêt. La parcimonie, n'activer que quelques experts, permet d'avoir beaucoup de capacité sans payer un calcul proportionnel à chaque requête.

Le Mixture of Experts : le cabinet médical de l’IA, TD et prompts

Q: Quelle différence entre paramètres actifs et totaux ?

Le total, c'est tout le modèle ; les actifs, ce sont les experts réellement consultés pour un token donné. Un MoE peut avoir beaucoup de paramètres totaux mais peu d'actifs, d'où son efficience.

Vous arrivez dans un grand cabinet médical avec une douleur au genou. À l’accueil, personne ne réunit les vingt praticiens de la maison autour de vous : on vous oriente vers le rhumatologue, peut-être le kiné. Les autres continuent leurs consultations. C’est toute l’idée du Mixture of Experts (mélange d’experts), l’architecture qui domine les grands modèles de 2026 : disposer d’une immense réserve de spécialistes, mais n’en consulter que quelques-uns à chaque fois.

Définition : la même idée, à trois hauteurs

Niveau 1 — Tout public

Le modèle contient beaucoup de « spécialistes ». Pour chaque mot traité, un aiguilleur choisit les bons et ignore les autres. Résultat : un très gros modèle, mais qui ne mobilise qu’une petite partie de lui-même à chaque fois.

Niveau 2 — Manager / décideur

Le Mixture of Experts découple la taille du modèle de son coût de calcul : on peut multiplier les paramètres (capacité) sans multiplier le calcul par requête, puisque seuls quelques experts sont activés. D’où des modèles très capables mais plus économes à l’usage.

Niveau 3 — Définition académique

Une couche MoE réalise un calcul conditionnel : un réseau de routage (gating) sélectionne, pour chaque token, un sous-ensemble (top-k) d’experts parmi N, dont les sorties pondérées sont recombinées. La capacité croît avec N tandis que le calcul reste borné par k, moyennant une contrainte d’équilibrage de charge.

L’analogie-maîtresse : le cabinet médical

Un cabinet pluridisciplinaire tire sa force de deux choses : un éventail de spécialistes et un accueil qui oriente bien. Sans orientation, on paierait vingt consultations pour chaque patient — ruineux et lent. Avec elle, chacun voit le bon praticien, et le cabinet traite un flux énorme de cas variés sans s’effondrer.

En IA, les spécialistes sont les experts : des sous-réseaux, typiquement les blocs de traitement placés dans les couches d’un Transformer. Chaque expert est, en soi, un petit réseau de deep learning. L’accueil, lui, c’est le routeur (ou gating network) : pour chaque token qui se présente, il calcule vers quels experts l’envoyer — souvent les deux mieux placés.

Le mot-clé, c’est parcimonie (sparsity). Un modèle peut compter 8, 64, voire des centaines d’experts — mais n’en activer que 2 par token. On parle alors de paramètres totaux (tout le cabinet) très supérieurs aux paramètres actifs (les praticiens réellement consultés). C’est ce qui permet, en 2026, des modèles gigantesques par la capacité, mais raisonnables par le calcul à chaque requête. La grande réserve de savoir est là, dormante, et on n’en réveille que ce qu’il faut.

Reste un problème très concret de cabinet : éviter que tout le monde réclame la même star. Si le routeur envoie tout vers deux experts, les autres s’atrophient et la capacité est gâchée. D’où une contrainte d’équilibrage de charge qui pousse à répartir les patients — un souci de gestion propre au MoE. À noter : cette spécialisation interne diffère des agents verticaux, qui sont des modèles séparés ; ici, les experts cohabitent dans un même modèle.

Là où l’analogie s’arrête. Nos spécialistes humains ont des étiquettes claires (cardiologue, dermatologue) et orientent en conscience. Les experts d’un MoE, eux, ne se répartissent pas selon des spécialités interprétables : leur « spécialisation » émerge de l’entraînement et ne correspond presque jamais à des domaines lisibles pour nous. Et le routeur ne « comprend » rien : c’est une fonction apprise, statistique, qui parfois oriente mal. L’équilibrage de charge, enfin, n’a aucun équivalent médical,c’est une béquille purement technique.

Le routage, en un schéma

Déconstruction : du cabinet au modèle

Notion technique	Dans notre analogie	En réalité, sans jargon
Expert	Un spécialiste du cabinet	Un sous-réseau, souvent dans une couche de Transformer
Routeur (gating)	L’accueil qui oriente	Le réseau qui choisit les experts pour chaque token
Parcimonie (top-k)	Ne consulter que 1 ou 2 praticiens	N’activer que quelques experts par token
Paramètres actifs vs totaux	Praticiens vus vs cabinet entier	Calcul par requête vs taille totale du modèle
Équilibrage de charge	Éviter que tous aillent voir la même star	Forcer une répartition entre experts à l’entraînement

Ce que ça change pour vous

« Gros modèle » ne dit plus « lent et cher ». Un modèle MoE peut afficher un nombre de paramètres colossal tout en restant efficient à l’usage. Comparez les paramètres actifs, pas seulement le total, quand vous évaluez un modèle.
C’est l’architecture dominante de 2026. Beaucoup de modèles de pointe (ouverts comme fermés) sont des MoE. Le comprendre, c’est lire correctement leurs fiches techniques et leurs coûts.
La spécialisation n’est pas lisible. N’attendez pas d’« expert juridique » ou d’« expert médical » identifiable dans le modèle : la répartition est émergente. Méfiez-vous des explications marketing qui prêtent des rôles nets aux experts.
Le routage est un point de fragilité. Un mauvais aiguillage dégrade la réponse. Sur des cas atypiques, la performance peut être moins régulière qu’avec un modèle dense — un facteur à tester sur vos propres données.

FAQ pour débuter

Un expert MoE, est-ce un modèle spécialisé dans un domaine ?▼

Non, pas au sens humain. Un expert est un sous-réseau dont la « spécialité » émerge de l’entraînement et ne correspond pas à un domaine interprétable. Ce n’est pas « le juriste » ou « le médecin » du modèle.

Pourquoi ne pas activer tous les experts ?▼

Ce serait ruineux en calcul et annulerait l’intérêt. La parcimonie — n’activer que quelques experts — est précisément ce qui permet d’avoir beaucoup de capacité sans payer un calcul proportionnel à chaque requête.

Quelle différence entre paramètres actifs et totaux ?▼

Le total, c’est tout le cabinet ; les actifs, ce sont les praticiens réellement consultés pour un token donné. Un MoE peut avoir énormément de paramètres totaux mais peu d’actifs — d’où son efficience.

Le MoE remplace-t-il les modèles « denses » ?▼

Il coexiste avec eux. Le MoE brille pour monter en capacité à coût maîtrisé, mais ajoute de la complexité (routage, équilibrage) et peut être moins régulier. Le choix dépend des contraintes de déploiement.

Les deux articles fondateurs

1. Jacobs, Jordan, Nowlan & Hinton posent le mélange d’experts (1991)

Contexte. Fallait-il un seul gros réseau pour toute une tâche, ou pouvait-on la découper entre plusieurs réseaux spécialisés ?

Idée centrale. Un système où plusieurs « experts » apprennent chacun à traiter une partie des cas, coordonnés par un mécanisme d’aiguillage — la répartition émergeant de l’apprentissage.

Pourquoi ça compte. C’est l’acte de naissance du Mixture of Experts, trois décennies avant qu’il ne devienne central dans les grands modèles.

✅ Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive Mixtures of Local Experts. Neural Computation, 3(1), 79–87.

2. Shazeer et al. réveillent le MoE à l’échelle — le gating parcimonieux (2017)

Contexte. La capacité d’un réseau est bornée par son nombre de paramètres, mais tout augmenter alourdit le calcul. Comment gagner en capacité sans exploser le coût ?

Idée centrale. Une couche MoE à routage parcimonieux : parmi des milliers d’experts, n’en activer que quelques-uns par exemple, via un aiguilleur qui ne retient que les k meilleurs.

Pourquoi ça compte. C’est le travail qui a rendu le calcul conditionnel réellement praticable et a ouvert la voie aux architectures MoE des modèles actuels.

✅ Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. International Conference on Learning Representations (ICLR 2017). (arXiv:1701.06538)

Trois prompts pour apprendre

Explique-moi la différence entre paramètres actifs et paramètres totaux d’un modèle MoE, avec un exemple chiffré simple.

🎯 Clarifier | 📚 Ce qu’on apprend : lire correctement une fiche technique de modèle.

Quels compromis un MoE fait-il par rapport à un modèle dense de même qualité ? Donne 3 avantages et 3 inconvénients concrets.

🎯 Décider | 📚 Ce qu’on apprend : arbitrer MoE vs dense selon le contexte.

Pourquoi la « spécialisation » des experts d’un MoE n’est-elle pas interprétable ? Explique, puis dis en quoi c’est un piège de communication.

🎯 Esprit critique | 📚 Ce qu’on apprend : déjouer les récits marketing sur les experts.

📝 Note méthodologique. Cet article a été rédigé avec l’aide d’une IA générative, sur la base d’un gabarit pédagogique et d’analogies conçus par l’autrice. Les deux références fondatrices ont été vérifiées manuellement. L’objectif reste pédagogique : rendre un concept technique accessible aux étudiants de Master et cadres en management.