Ce billet est dédié à Olivier Guérin, DG d’Artik Consulting qui m’a poussée à écrire sur les IA déviantes. Vous pouvez consulter le livre blanc d’Artik sur l’IA via ce lien.

Les travaux du MIT sur ces sujets sont regroupés dans le projet « Scalable Cooperation » ou Coopération évolutive (faire évoluer l’IA grâce au collaboratif IA – humain et IA-IA)

Le MIT crée des IA déviantes, psychopathes, monstrueuses et demande au public de les « rééduquer ». Retour sur trois projets fous du MIT dont on se demande à quoi ils servent réellement.

Projet 1 : l’IA Norman ou comment rentrer dans la tête d’un fou meurtrier ?

Norman est une référence assumée au film d’Hitchcock, « Psychose ». Une secrétaire de passage dans un motel sordide se fait poignarder sous sa douche par Norman Bates, propriétaire du motel et fou dangereux au complexe d’Œdipe visiblement très fort. Cette scène est une des scènes culte du cinéma d’horreur même si le film date de 1960.

L’ IA Norman a des algorithmes de Machine Learning tout à fait sains selon le MIT. Ce sont les données avec lequel on le nourrit qui sont mauvaises. Norman a été exposé aux images les plus sombres et morbides du site Web communautaire, Reddit.

Norman est une IA qui est formée en s’appuyant sur le sous-titrage d’image et fonde son apprentissage sur la base de cette description. Pour ceux qui souhaitent aller plus loin dans ce qu’on appelle l’apprentissage supervisé, je vous conseille d’aller consulter le site ImageNet élaboré par le Vision Lab de l’Université de Stanford. Une base de données de centaines de milliers d’images labellisées à la main sert de terrain d’entrainement à de nombreux chercheurs travaillant sur l’IA.

poissons

Source : Vision Lab

Mais revenons à Norman. Il a été entraîné sur un subreddit consacré à la mort. Un subreddit est une sous-partie du site Reddit centrée un thème spécifique.

Norman a ensuite été soumis à une série de tests de Rorschach. Ces tests psychologiques ont été créés en 1921 et reposent sur l’interprétation de tâches d’encre pour déterminer une personnalité. Là aussi, le test a été nourri d’IA puisque les réponses de Norman étaient comparées à des réponses d’IA dites standard dont l’élaboration a reposé sur l’utilisation du framework, Microsoft COCO. MS COCO contient des photos de 91 types d’objets fondamentaux et 2,5 millions d’instances.

 Quelques définitions de la modélisation objet

Un objet en informatique possède :

  • Une identité.
  • Des variables définissant son état que l’on appellera attributs.
  • Des sous programmes gérant son comportement que l’on appellera méthodes.

Des objets ayant des propriétés communes, attributs et méthodes, sont alors regroupés dans une structure abstraite appelée classe. On retrouve ainsi notre manière de pensée habituelle, où nous classifions chaque élément de notre entourage : animaux, véhicules, ordinateurs, étudiants, livres…

  • Une classe est donc une abstraction regroupant des objets ayant les mêmes attributs et les mêmes méthodes.
  • Un objet est alors une instance de la classe correspondante, et se distingue des autres instances par son identité et la valeur de ses attributs.

Source : La modélisation objet

Que voit Norman dans les tâches d’encre ? La mort

Les IA standard comparées à Norman voient des choses très normales dans les tâches d’encre. Nous vous donnerons dans ce billet un seul exemple mais le MIT en expose plusieurs. Alors que les IA standard voient un gros plan de fleurs dans un vase, Norman y voit un homme assassiné.

test

Source : http://norman-ai.mit.edu/

Projet 2 : Shelley, la conteuse d’histoires d’horreur

Le second projet s’appuie sur Halloween, les contes, les fées et Frankenstein. Shelley est une IA écrivaine. Elle a été entrainée sur r/nosleep, un subreddit consacré aux histoires d’horreur. Shelley écrit le début des histoires et demande aux humains d’imaginer la suite. Cette collaboration humain-IA est promise à des développements importants. Norman se repose également sur les humains pour devenir meilleur. Sur la plateforme , vous pouvez écrire ce que vous voyez sur chaque tâche d’encre pour aider Norman à devenir moins morbide.

Ce qui frappe dans le cas de Shelley est cette volonté du MIT de la réinscrire dans la tradition occidentale de l’horreur. Le MIT nous raconte une histoire complètement tirée par les cheveux mais on a envie d’y croire :

  1. Il y a 1000 ans, notre civilisation a imaginé des êtres magiques qui échappaient à leurs créateurs et développaient des capacités hors normes. Pour le MIT, C’EST LE DEBUT DE L’IA…
  2. En 1816, un hiver sans fin oblige trois écrivains bien connus à s’enfermer dans un manoir et à se lancer dans une compétition d’histoires d’horreur. Mary Shelley, John William Polidori, et Lord Byron imaginent dans l’ordre Frankenstein, les vampires et le poème “Darkness” qui décrit l’apocalypse.
  3. En 1840 naissent les premières tentatives de programmation. Anne Isabella Milbanke, épouse de Lord Byron donne naissance à Ada Lovelace, une pionnière dans l’histoire de la programmation. Elle écrira le premier algorithme sur un des premiers ordinateurs imaginés sur papier.

Projet 3 : la machine à cauchemars

Le projet de la machine à cauchemars souhaite répondre à une question : les machines peuvent-elles apprendre à nous faire peur ? Ces dernières ont travaillé sur des visages et des lieux.

Concernant les visages, elles ont généré des faces monstrueuses et les internautes ont voté (toujours le participatif avec l’humain) pour celles qu’ils jugeaient les plus épouvantables.

Concernant les lieux, les algorithmes de deep learning ont appris comment on représentait les maisons hantées, les lieux sinistres puis ont appliqué ces représentations à des monuments célèbres.

iadev

Source : Les cauchemars du MIT

A quoi sert la fabrication d’IA déviantes ?

Au-delà de toute cette belle mécanique de promotion de l’IA, il est légitime de se poser LA question : A quoi servent les IA déviantes ? Peuvent-elles comme Frankenstein échapper à leurs créateurs ? Peuvent-elles comme les vampires contaminer les IA standard ? Peuvent-elles provoquer l’apocalypse en devenant tueurs d’humains ?

Selon le MIT, les IA déviantes permettent de prendre conscience des dangers de nourrir l’IA avec des données biaisées ou mauvaises. Cette vision est purement rousseauiste. L’IA est bonne, c’est la société qui la corrompt. Le message n’est peut-être pas philosophique mais tout simplement marketing.

Voici le brief qu’une agence de communication pourrait faire sur le sujet :

  • Donner de l’espoir à l’humain. Il est possible de combattre le mal en l’exposant au bien.
  • Réinscrire l’IA dans la culture, l’histoire, le cinéma en un mot dans l’homme
  • Habituer les hommes à nourrir l’IA – engendrer du matériel pour l’apprentissage supervisé
  • Faire aimer l’IA en la montrant plus humaine

Et, voici ce qu’un sociologue comme Albert Ogien auteur de sociologie de la déviance (PUF) pourrait rétorquer : qu’est-ce-que la normalité ? L’IA est-elle une personne ? Si oui, laissez-la vivre sa déviance tranquille.