Robots tueurs : Cyborgs don’t feel pain. I do.

Une Interview Beabilis d’Eric Martel, auteur de Robots Tueurs, éditions Favre

Les Robots Tueurs font l’unanimité contre eux.

Robots Tueurs est un terme qui fait frémir. L’évocation d’automates sanguinaires à la puissance inarrêtable évoque une guerre déshumanisée qui fait écho à de grands films de science-fiction.

C’est Terminator qui pourchasse sans relâche Sarah Connor. C’est l’agent Smith de Matrix qui se réplique à l’infini. C’est Ghost in the Shell qui fait de Scarlett Johansson un être hybride, un cerveau humain transféré dans un corps synthétique aux capacités cybernétiques…

En dehors de la science-fiction, les Robots Tueurs déchaînent les critiques de la société civile et des grandes organisations internationales.

La dernière campagne contre les Robots Tueurs a été lancée par Human Right Watchs. Elle s’intitule « Pourquoi la France doit s’opposer au développement des robots tueurs ». Extraits…

Sur la profondeur des oppositions

De Stephen Hawking au cofondateur d’Apple Steve Wozniak, ils sont des milliers de scientifiques et d’experts de l’intelligence artificielle à sonner l’alerte, demander l’interdiction préventive des robots tueurs, et s’engager à ne pas contribuer à leur développement.

En juin 2018, Google a adopté des lignes de conduite qui engagent l’entreprise à ne pas concevoir ou développer d’intelligence artificielle destinée à être utilisée dans des armes.

160 leaders religieux, 20 prix Nobel de la paix et des dizaines d’associations de défense des droits humains ont également demandé l’interdiction préventive des robots tueurs.

Sur les arguments des opposants aux Robots Tueurs

Déléguer à une machine ou à un algorithme la décision de vie ou de mort d’un humain représente une ligne rouge morale, incompatible avec la clause de Martens, qui exige que les technologies émergentes soient jugées sur la base des « lois de l’humanité» et des «exigences de la conscience publique ».

Octroyer un choix de vie ou de mort sur un humain à une machine dépourvue de jugement moral et de compassion est contraire au principe d’humanité et aux exigences de la conscience publique.

Les robots tueurs risquent de faciliter le déclenchement de conflits de grande ampleur. Ils exigeraient moins de moyens humains, abaissant considérablement le coût d’entrée en guerre.

Vous pouvez retrouver l’ensemble de ce rapport via le lien suivant : https://www.hrw.org/sites/default/files/supporting_resources/112018arms_france_campaign_robots_report.pdf

Beabilis : Dans l’ouvrage, tu montres l’importance de la Seconde Guerre Mondiale dans l’émergence des Robots Tueurs. Penses-tu que la lutte contre le terrorisme est une nouvelle occasion de justifier le recours aux Robots Tueurs ? La guerre devient une guerre réseau comme l’est le terrorisme. Les robots tueurs sont étrangement bien adaptés aux nouvelles problématiques sécuritaires de notre monde. Certains robots sont spécialisés dans la défense des frontières, d’autres dans les guerres urbaines, d’autres encore comme les nano-drones sur l’élimination d’individus préalablement détectés par la reconnaissance faciale…Finalement, à quelle époque appartiennent les Robots Tueurs ? On dirait que notre époque est en train de vivre des guerres en essaims qui se diffusent un peu partout…

E. Martel : Oui, tout est affaire d’interaction. En fait, les Robots Tueurs sont nés grâce à la cybernétique. Je montre dans cet ouvrage son importance et dresse une épistémologie historique sommaire de ce mouvement. Les idées dirigent le monde mais elles sont en interaction avec des mondes matériels et avec des groupes sociaux. La cybernétique est une science que l’on peut qualifier d’Atlantide, un continent oublié. Ce mouvement a duré de 15 à 20 ans et a façonné les idées actuellement en cours et rendu possible les grandes avancées scientifiques de ces dernières années. Un ouvrage essentiel sur le sujet est le livre de Céline Lafontaine, « l’Empire cybernétique, des machines à penser à la pensée machine ». Céline Lafontaine montre comment la cybernétique a été mise en place par les ingénieurs et qu’elle a façonné les militaires eux-mêmes. Les nouvelles technologies n’arrivent pas par hasard.

La cybernétique est l’ancêtre de l’IA.

Beabilis : Dans l’ouvrage, tu mets en avant la cybernétique comme étant l’ancêtre de l’IA.

E. Martel : L’intelligence Artificielle est apparue en 1956. Elle a largement tiré parti des apports de la cybernétique et les deux reposent sur le même postulat : la notion d’information est essentielle et prime sur la matière. Mathieu Triclot dans « Le moment cybernétique : la constitution de la notion d’information » montre que humains et machines peuvent être placés sur le même plan, et considérés comme des unités de traitement de l’information. Néanmoins, l’Intelligence Artificielle a toujours nié son lien de parenté avec la cybernétique, comme si elle en avait honte. Elle a repris ses concepts sans y faire référence, ce qui lui a fait gagner du temps et épargné les critiques adressées à la cybernétique qui, elle, est une discipline contestée.

Beabilis : Dans son dernier best-seller, Harari parle d’équipes-centaure, des équipes hommes-robots qui pourraient dans le futur se constituer mais verraient la prise de pouvoir des robots sur l’homme. Toi-même, tu parles de l’humain hors du coup.

E. Martel : Wiener, mathématicien hors-pair et un des pères de la cybernétique a été très marqué par la Seconde Guerre Mondiale et le lancement de la première bombe atomique. Pour lui, les machines automatiques pouvaient freiner la folie des hommes. Il entretenait un doute radical sur l’humanité. Il était favorable à ce que le processus de commandement soit en partie délégué aux robots. Pour lui, la solution était de mettre en place un réseau hommes-machines, chacun se contrôlant réciproquement. Mais en cybernétique, les machines sont de toute façon supérieures à l’homme. La machine va plus vite que l’homme dans le traitement de l’information. Elle calcule à une vitesse électronique et surpasse l’homme dans ce domaine. Cette idée, nouvelle, de la machine qui prend le pas sur l’homme a été reprise à travers deux canaux : la littérature de vulgarisation et la science-fiction.

L’armée a préparé l’émergence des véhicules autonomes.

On retrouve cette vision dans beaucoup de personnages connus de la Silicon Valley, tels Elon Musk ou Ray Kurzweil, avec cette même idée de base : l’assimilation de l’intelligence au traitement de l’information.

Chez Céline Lafontaine, la grande différence entre l’humain et l’intelligence artificielle est que l’IA n’est pas le résultat d’une synthèse au contraire de l’humain. On ne peut pas décomposer un être humains en petits morceaux et considérer qu’il est l’addition de fonctions logiques. Son intelligence ne peut se concevoir sans son corps : tout est lié. Par ailleurs, l’IA ne dispose pas de l’intériorité qui est le propre de l’Homme.

Beabilis : Tu mets en évidence que les faiblesses des drones ont conduit aux robots tueurs. Néanmoins, les recherches sur les drones sont portées en partie par les grands du e-commerce. Quels ponts dresses-tu entre le militaire et le civil ?

E. Martel : Les drones peuvent être assimilées à de la télé-présence. Ils constituent un premier pas vers l’automatisation. Quant aux rapports militaire-civil, on peut dire que les militaires étaient largement en avance technologiquement parlant de 1945 jusqu’à la fin des années 90. Les civils reprenaient les avancées technologiques issues de la recherche militaire. De toute façon aux États Unis, ces deux domaines sont très imbriqués depuis longtemps. En fait, les américains ont une conception managériale de leur défense. En 1961, le PDG de Ford, Robert McNamara a été nommé Ministre de la Défense en vertu de ses qualités managériales. Aujourd’hui, le domaine civil et le domaine militaire avancent de concert. L’interaction se fait pratiquement en simultanée. Le financement des militaires dans ces domaines est quasi illimité. Et en plus, ils financent autant la recherche fondamentale que la recherche appliquée. C’est la clé de la supériorité américaine dans le secteur des nouvelles technologies. Les ponts sont multiples entre recherche appliquée et théorique. Les GAFA (Google, Apple, Facebook, Amazon) ne sont pas antimilitaristes. Google a été propriétaire du designer de robots, Boston Dynamics, revendu en 2017, vraisemblablement pour des questions d’image. En 2000, l’armée s’est lancée dans la course aux engins autonomes. Elle a préparé l’émergence des véhicules autonomes.

La guerre, c’est tuer l’homme, pas les robots. 

Beabilis : L’automatisation de la guerre pourrait aboutir à zéro morts. On pourrait imaginer des affrontements entre robots qui préserveraient les hommes. Un peu comme au Moyen-Age avec les champions.

E. Martel : et non justement… La dernière issue, celle qui permet de gagner la guerre c’est de tuer les hommes. Avec le drone, on sélectionne la cible. On est dans l’automatisation et aussi dans la déresponsabilisation de l’acte de tuer. Activer un drone pour éliminer un humain, c’est très bureaucratique et ça implique toute une équipe jusqu’au pilote qui va appuyer sur le bouton. C’est un mécanisme qui ressemble à l’exécution dans l’Ancien Régime par un bourreau masqué et anonyme. Mais, la guerre c’est tuer l’homme et pas les robots. L’ennemi reste l’homme en cas de conflit.

Beabilis : Parlons un peu géopolitique…Tu présentes un tableau très intéressant sur la classification des appareils autonomes par pays. On se rend compte du poids des Etats-Unis, de la Corée du Sud, d’Israël et même de la France. Ce qui m’a surpris, c’est que je n’ai pas vu la Chine dans ce panorama.

E. Martel : la Chine est un grand mystère. On ne connaît pas réellement sa position officielle et son avancement dans ce domaine. Néanmoins, on la sent complètement désinhibée sur le sujet comme elle l’est sur les thématiques de la surveillance ou de l’Intelligence Artificielle. On sait avec certitude qu’elle a les moyens matériels et moraux de le faire. Il en va de même pour la Corée du Sud. La Russie joue également sur une certaine ambiguïté. On ne sait pas si leurs robots tueurs sont réellement opérationnels. Il faut savoir qu’il y a souvent un écart entre ce qui est annoncé et ce qui réellement fonctionne sur le terrain. Il ainsi fallu dix ans aux drones pour être opérationnels de manière correcte.

Si l’on parle du camp occidental, on sent une certaine retenue sur le sujet avec de nombreux freins moraux. A contrario, des pays comme la Corée du Sud ou Israël sont très enthousiastes et essaient de développer des algorithmes éthiques afin de lever les réticences à l’égard de ces armes nouvelles. Ils profitent en partie pour cela d’une tendance à la déshumanisation du combattant.

Beabilis : Penses-tu à terme que les armées seront plus tentées par le développement des robots tueurs que par celui des soldats augmentés ? Quelle serait la guerre la moins pire ?

E. Martel : Entre un soldat augmenté et un robot tueur, il n’y a tout simplement pas photo. Le soldat augmenté est beaucoup plus performant que le robot tueur. Le fantassin reste l’élément essentiel de la guerre. L’hybridation homme-machine est une piste beaucoup plus prometteuse et bien moins chère. Elle est aussi beaucoup moins complexe techniquement. La reconnaissance d’images en temps réel reste un point faible de l’IA, sans parler de la capacité de discriminer les cibles. Même si dans ce domaine on a fait d’énormes progrès. Maintenant, il est tout à fait possible d’adopter des règles éthiques concernant l’utilisation des robots tueurs ce qui permettrait finalement d’avoir des pertes humaines moins lourdes. Je citerai deux défenseurs des robots létaux autonomes : Arkin, un roboticien et Müller, un philosophe.

Pour Arkin, les combattants humains face au stress ou à l’endoctrinement idéologique peuvent commettre des atrocités sur les civils. Les robots seraient plus aptes à respecter les lois de la guerre. Ils pourraient être programmés pour respecter la convention de Genève.

Pour Müller, le point fondamental est de savoir si le taux d’erreur des robots létaux sera inférieur à celui des combattants humains. Il introduit une vision statistique quant aux réflexions éthiques autour des robots tueurs. Tueront-ils moins de civils ? Sauront-ils mieux distinguer ceux qui veulent se rendre ?

Il est à noter que ce raisonnement utilitariste qui a eu cours lors du lancement des première bombes atomiques (combien de tués pour combien de sauvés) repose sur des notions comme des marges d’erreur, des taux de dégâts humains collatéraux, ce qui a quelque chose d’immoral.

Le MIT refuse de prendre parti, alors il fait voter les gens.

Beabilis : Dans ce contexte, que penses-tu du jeu du MIT qui consiste à nourrir l’IA par le jugement éthique des internautes ? Les internautes sont devant une voiture autonome qui a le choix de s’écraser contre un mur ou d’écraser les piétons. Il y a plusieurs cas de figure : des piétons âgés, des jeunes, des femmes avec des poussettes, des gens avec des chiens…[1]  On produit des statistiques autour de la mort des individus.

E. Martel : Le MIT refuse de prendre partie alors il fait voter les gens…Il y a beaucoup de biais dans ce type de raisonnement. Tout d’abord, les systèmes moraux sont flexibles et ancrés dans une époque et une société. Dans beaucoup de civilisations, une personne âgée a l’expérience de la vie et donc plus de valeur qu’un jeune. A l’époque de la révolution française, on sacrifiait les hommes jeunes et on cherchait à sauvegarder les individus mûrs détenteurs d’un capital d’expériences. Les personnes âgées, résultat d’une sélection impitoyable étaient très valorisées. La nature, elle aussi préfère sacrifier les individus qui n’ont pas encore acquis l’expérience minimale leur permettant d’assurer leur survie. Dans notre civilisation, notre fascination pour la jeunesse fait que notre choix va se porter sur le sauvetage du plus jeune. Enfin, on ne sait pas qui on choisit d’écraser : une personne âgée qui est peut-être un grand écrivain. On va peut-être choisir de sauver un tueur en série. On va donc produire des IA sur la base de jugements circonstanciels, du sens commun.

Beabilis : science sans conscience…

E. Martel : Oui, tout est affaire de conscience. Le militaire sait qu’il aura à faire un choix. Même s’il sait que ses chances d’être jugé sont faibles, il a parfaitement conscience de ce qu’il a fait. Cela peut l’empêcher de dormir ou pas, mais il le sait. La machine n’a pas de conscience. On demande à une machine de faire un choix alors qu’elle n’a pas de conscience.

Beabilis : Revenons à la science-fiction. Tu montres son importance dans la faculté des individus à imaginer les robots tueurs comme faisant partie de leur quotidien dans le futur.

E. Martel : Dans la culture américaine et c’est particulièrement visible dans la Silicon Valley, il n’y a pas de barrière étanche entre visionnaires, scientifiques et littérature de vulgarisation. En France, on a plus tendance à segmenter.

C’est une boucle qui s’auto-alimente. Elon Musk s’inspire de la science-fiction et puise dans le répertoire de la cybernétique pour imaginer de nouvelles technologies. Par exemple, les robots humanoïdes représentent un investissement humain et matériel monstrueux. Le rapport coûts / avantages n’est pas du tout en leur faveur. Sans la science-fiction, ils n’auraient probablement jamais vu le jour. La science-fiction est un moyen de réfléchir et de se projeter sur ce futur possible. Il ne faut pas se leurrer. A travers l’IA ou la robotisation, on ne fait pas de la philosophie, on est dans le « faire ». Ce « faire » s’accorde avec la société américaine car les Américains ne veulent penser le monde qu’à travers la technologie. Donc, une grande partie de leur réflexion philosophique passe par ce continuum lié aux nouvelles technologies. La science-fiction a donc pris le pas sur la philosophie. Elle permet de produire des jeux sociologiques sur les nouvelles technologies comme d’ailleurs, les jeux vidéo.

Une partie de ces réflexions sur les nouvelles technologies permet d’exprimer des peurs viscérales. Ainsi la peur d’une robotisation absolue, apte à mettre tout le monde au chômage, sert surtout, à mon avis, à exprimer une crainte plus fondamentale qu’est le déclassement des classes moyennes. Ce qui est presque drôle, c’est que Wiener, il y a de cela plus de 60 ans était déjà obsédé par l’idée qu’il fallait prévenir de tout urgence les syndicats de cette menace imminente. Mais jouer sur les peurs est contreproductif, elle empêche, par exemple pour les robots tueurs, de produire une éthique, voire une morale adaptée.

Propos recueillis à Paris, le 15 Novembre 2018

[1] Pour découvrir cette simulation allez sur : http://moralmachine.mit.edu/hl/fr

La Bio de l’auteur

Eric Martel travaille depuis plus de douze ans dans les nouvelles technologies en tant que directeur de projet. Docteur en sciences de gestion depuis 2015, il est, entre autres, chercheur associé au Laboratoire interdisciplinaire de recherches en science de l’action au CNAM (Conservatoire national des arts et métiers). Ses travaux s’intéressent à l’adaptation des acteurs sociaux aux systèmes dits intelligents. Il s’interroge sur l’éventuelle corrélation entre l’automatisation du champ de bataille et la déshumanisation des combattants.