Les machines vont-elles nous faire la morale ?

Treize. Un chiffre qui porte malheur et qu’évitent les ascenseurs aux États-Unis. Pourtant, c’est le nombre de questions du test de la « Machine morale », mis en ligne par le prestigieux Massachusetts Institute of Technology (MIT). Ce jeu, lancé en juin 2016, a recueilli près de 40 millions de réponses, un record. Le but est de sonder nos intuitions morales, quand une voiture autonome – du type Google Car –, fait face à une alternative dramatique. Admettons qu’il n’y ait que deux options : précipiter le véhicule contre un mur en tuant le conducteur, ou renverser trois enfants qui sortent de l’école, que faire ? Et si les enfants traversent la route alors que le feu est au rouge pour les piétons ? Et s’il y a aussi un bébé à bord de la voiture ?

Ce test n’est pas une simple affabulation : l’arrivée imminente sur les routes des voitures autonomes nous oblige à résoudre ce qu’on appelle, dans la tradition éthique anglo-américaine, le « dilemme du tramway » formulé par Philippa Foot en 1967. Un tramway lancé à vive allure va percuter cinq personnes ; il est en votre pouvoir de le dévier en actionnant un levier, auquel cas le tramway ne tuera qu’une personne. Le faites-vous, quitte à endosser la responsabilité de cette mort ? La plupart des gens répondent par l’affirmative. Maintenant, considérez cette variante : vous pouvez arrêter le tramway en poussant un homme obèse sur les rails. Le faites-vous ? La plupart des gens s’y refusent, même si le résultat est le même. Ce qui prouve que nous ne sommes pas à 100 % « conséquentialistes », c’est-à-dire que nous ne jugeons pas de la valeur morale d’une action qu’en fonction de son résultat sec.

Les dilemmes de la voiture autonome

L’un des principaux concepteurs du test du MIT, Jean-François Bonnefon, est chercheur en psychologie cognitive et professeur à la Toulouse School of Economics. Je lui pose une question : si demain Google met en vente un véhicule programmé, dans certains cas, pour se crasher contre un mur, je serai très réticent à l’idée de monter à bord et n’y mettrai jamais mes enfants. Les gens ne passeront-ils à la voiture autonome que si elle sauve toujours son ou ses passagers, même quand c’est immoral ? « Vous semblez préférer conduire seul. Mais admettons que la voiture autonome divise par dix, par cinq ou même par deux le risque d’accident, n’y a-t-il pas une certaine irrationalité à refuser ce bénéfice parce que vous craignez une situation rarissime ? Au contraire, n’avez-vous pas le devoir moral d’épargner à vos enfants les dangers inhérents à votre conduite ? »

Serais-je donc le seul à redouter de me laisser transporter par un véhicule capable de me tuer pour sauver deux vies ? Je pose la question à Nicholas Evans, professeur de philosophie à l’université Lowell (Massachusetts) ; il vient, avec un groupe de chercheurs, de recevoir une bourse de 556 000 dollars de la National Science Foundation pour écrire un algorithme qui résoudra le dilemme du tramway. Je lui fais remarquer que le succès commercial des SUV, surtout auprès des pères de famille, est dû au fait que ces gros véhicules écraseraient à peu près n’importe quel obstacle. Ce n’est pas très altruiste, peut-être, mais très rassurant. « Voilà un argument amusant ! commente Evans. Supposez que vous soyez utilitariste et conséquentialiste. Vous voulez maximiser le bien-être du plus grand nombre, n’est-ce pas  ? Vous pensez donc qu’un monde où toutes les personnes se déplaceraient en voiture autonome est souhaitable, puisqu’il y aurait à peu près 90 % d’accidents de voiture en moins. Seulement, vous savez qu’un tel monde n’existera que si ces voitures autonomes protègent dans tous les cas leurs passagers, sinon les gens refuseront de monter à bord. Un utilitariste cohérent acceptera qu’on adopte ici une règle déontologique non négociable – les voitures protégeront toujours leurs passagers – afin de maximiser le bien-être collectif. C’est ce qu’on appelle le self-effacing utilitarianism, l’“utilitarisme qui s’efface”. Il est parfois rationnel, pour atteindre un but strictement utilitariste, d’accepter une règle déontologique ! »

Mais Jean-François Bonnefon ne l’entend pas de cette oreille : « Certaines décisions morales sont douloureuses à prendre, nous n’avons pas envie d’y penser. C’est pourquoi nous défendons l’idée que l’aléa fait partie de la condition humaine. Avec un peu de lâcheté, nous nous disons : “Si une situation extrême se présente, on verra bien, selon l’inspiration du moment.” Le problème que posent les voitures autonomes – et que je vois, quant à moi, comme une chance – est qu’elles nous obligent à tout mettre à plat. Nous allons devoir nous entendre sur des principes, repérer les cas où ils ne sont pas satisfaisants, en discuter et trancher. Nous voici donc obligés d’entrer dans la zone d’ombre que nous étions soulagés jusqu’ici d’entretenir. Et notez bien que cela ne détruit pas votre libre arbitre ! » Sauf que, objecté-je, une décision ne peut être prise qu’en contexte. Admettons que je me rende au chevet de ma femme mourante et que je sois l’unique soutien financier de mes enfants, n’ai-je pas une bonne raison de refuser de me sacrifier, quitte à faucher trois ou quatre personnes ? « Vous devez envisager tous les cas de figure dès à présent, même celui-ci, et décider. Nous sommes en train de passer d’une situation d’hypocrisie, où il nous est toujours loisible d’avancer les meilleures raisons du monde pour justifier nos arrangements avec la morale a posteriori, à une décision éthique a priori. »

“Peut-on imaginer une voiture qui respecterait le commandement ‘Tu ne tueras point’ ?”

Nicholas Evans, philosophe

Élucider la zone d’ombre. Est-ce possible ? Nicholas Evans est moins radical : « Le problème est que nous ignorons ce que serait une voiture vraiment déontologique. Peut-on imaginer une voiture qui respecterait le commandement “Tu ne tueras point.”? Non ! Le simple fait que nous programmions une machine nous contraint à nous placer dans une perspective conséquentialiste et utilitariste, même si ces options philosophiques nous répugnent. »

Cela me fait songer à un autre paradoxe : si les voitures autonomes s’imposent, il n’y aura plus de frein à la consommation d’alcool, puisque plus personne n’aura à prendre le volant. « Oui, s’amuse Evans, mais il est rare que les alcooliques boivent au point d’en mourir, ce qui signifie que les vies humaines sauvées sur la route par les voitures autonomes resteront excédentaires. » Un autre problème me vient à l’esprit : les dons d’organes. Les accidentés en état de mort cérébrale sont aujourd’hui la principale source d’organes à transplanter. Que ferons-nous sans cet approvisionnement ? « Une réponse possible est que nous devons faire avancer la recherche sur la fabrication d’organes de synthèse plus vite que les voitures autonomes. »

Soit, mais revenons au dilemme du tramway : devrait-on sauver les jeunes davantage que les vieux, c’est-à-dire non pas sauver le maximum de vies, mais le maximum d’années de vie ? J’entrevois ici un énorme problème : je suppose qu’il existera toujours, dans l’avenir, des voitures de luxe, comme des Porsche ou des Maserati. Or ce n’est pas entre 15 et 25 ans qu’un conducteur peut consacrer le plus gros de son budget à l’achat d’un véhicule, mais plutôt après 50 ans. Les voitures de luxe seront-elles jeunistes, ou donneront-elles la priorité à leurs propriétaires d’âge mûr ? Nicholas Evans reconnaît que, c’est vrai, « les constructeurs de véhicules très chers pourraient être amenés à favoriser leur cœur de marché, c’est-à-dire des gens plutôt âgés ou bénéficiant d’un statut social privilégié. Je ne vois qu’un frein régulateur à cette tentation : l’atteinte à l’image. “La limousine de la marque X est une tueuse de bébés et d’enfants” : je vois déjà les gros titres dans la presse ! »

Autre question : qui est responsable en cas d’accident ? Celui qui a écrit l’algorithme, vous-même Nicholas Evans, soit dit sans vouloir vous offenser ? « Non, je ne fais pas un algorithme pour des voitures réelles, mais pour des simulations ! Cependant, la voiture autonome amène à repenser pas mal de choses. La notion de conducteur va disparaître, n’est-ce pas ? Il n’y aura donc plus d’assurance-conducteur ! Immense économie pour les foyers. Par contre, il y aura encore des accidents, même s’ils seront plus rares. Aujourd’hui, la responsabilité d’une mort n’est pas imputée à Seat, Renault ou Volkswagen. Les voitures tuent, mais les constructeurs sont hors de cause. A l’avenir, ils pourraient bien refuser de construire des véhicules autonomes par crainte des procès. Il se peut donc que, si la voiture est aux normes, a été testée, et que son algorithme est conforme aux réglementations en vigueur, ce soit l’État qui soit amené à couvrir le risque. »

La guerre robotisée : jusqu’où ?

À la différence des voitures autonomes, il existe des machines conçues exprès pour tuer : les drones. Depuis quelques années, l’industrie de l’armement – notamment aux États-Unis – se propose de mettre au point des « robots tueurs », drones autonomes qui ne seraient plus pilotés à distance par un militaire, comme c’est le cas aujourd’hui pour les Predator, et qui suivraient, une fois déployés, leur propre ordre de mission.

L’un des principaux arguments en leur faveur, avancé par le roboticien Ronald C. Arkin, est qu’ils seraient susceptibles de s’autodétruire, alors qu’un militaire humain, sur le terrain, voudra sauver sa peau coûte que coûte, quitte à tirer largement autour de lui. Par exemple, un drone imploserait plutôt que de risquer de tuer un civil ou un enfant. « Je ne suis pas convaincu par cet argument, explique Peter Asaro, professeur associé à la New School de New York et spécialiste en éthique de la robotique. D’un côté, il est difficile de prédire le comportement des humains sur un champ de bataille, et nous savons que beaucoup de soldats se sont sacrifiés par le passé pour sauver leurs camarades ou défendre une position. De l’autre, je ne vois guère d’exemples de commandements militaires qui auraient sacrifié du matériel technologique de pointe. Quelle armée a détruit des tanks, des hélicoptères ou des drones afin d’épargner des civils ? »

Peter Asaro est cofondateur de l’Icrac (International Committee for Robot Arms Control, « comité international pour le contrôle des armes robotiques »), une organisation non gouvernementale qui regroupe des chercheurs proposant des textes de lois pour encadrer l’usage des machines dans la guerre ; l’un des faits d’armes de l’organisation est la campagne « Interdisez les robots tueurs ! » de 2015, avec un appel à l’interdiction des drones autonomes signé par 1 500 personnalités, dont Elon Musk, Stephen Hawking ou le philosophe Daniel Dennett.

Or un autre argument des partisans des systèmes autonomes est qu’une machine peut être programmée pour ne jamais commettre de bavure, ne pas ouvrir le feu sur les civils, sur les femmes, les vieillards ou les enfants. « L’un des principes fondamentaux du droit de la guerre est la distinction, admet Peter Asaro, c’est-à-dire la capacité à distinguer la population civile des combattants. Si cela reposait entièrement sur la reconnaissance visuelle, les machines seraient sans doute performantes dans ce domaine. Mais ce n’est pas aussi simple, à cause de la catégorie des “civils participant aux hostilités”. Ici, le critère n’est pas visuel mais comportemental. Est-ce que tel civil ne fait que ramasser une pierre et la lancer sur les chars par colère ou est-il manifeste, à sa manière de se mouvoir sur le terrain, qu’il est en train d’exécuter un ordre d’un commandement militaire ? Représente-t-il une menace ? Ces aspects comportementaux ne peuvent être décryptés qu’avec un certain sens des interactions sociales, de la psychologie. Le droit de la guerre n’autorise à cibler que les civils participant directement au combat, or les machines ne savent pas les identifier. »

Le second grand principe du droit de la guerre est la proportionnalité : on ne détruit pas une ville entière pour éliminer cinq personnes, autrement dit l’emploi de la force doit être proportionnel aux objectifs militaires poursuivis et aux menaces réelles. « Ce principe de proportionnalité nécessite lui aussi un jugement humain. Les dilemmes sont parfois délicats : quelles infrastructures risquez-vous d’endommager pour atteindre votre objectif militaire ? Imaginons qu’un hôpital ou une école soient situés à côté d’un entrepôt de munitions, vous prenez le risque de bombarder ce dernier ? Si le risque est de frapper une école, vous pouvez bombarder la nuit ; mais cette solution ne vaut pas pour un hôpital. Il n’y a pas de réponse standard. C’est pourquoi un commandement militaire humain doit endosser ces décisions et prendre la responsabilité légale de l’ordre donné. Si c’est une machine qui a tranché et qu’une école avec trois cents enfants a été bombardée, qui est responsable de ce massacre ? La machine ? Le programmeur ? Nous n’avons pas le choix : il faut, comme le veut la doctrine pour l’instant dominante de l’armée américaine, “garder des humains dans la boucle”. »

“La guerre n’est juste que si ceux qui la mènent la font malgré eux. Cette tension disparaît avec des machines”

Nolen Gertz, philosophe

C’est aussi le point de vue de Nolen Gertz, professeur de philosophie à l’université de Twente (Pays-Bas), autre auteur de référence sur ce thème : « La tradition de la “guerre juste”, qui remonte à saint Augustin, nous enseigne que, moralement, il est mauvais que des combattants prennent plaisir à tuer. Il n’est de guerre juste possible que si les acteurs ne sont ni des nihilistes ni des sadiques, que foncièrement ils détestent tuer, mais qu’ils vont à l’encontre de leurs principes moraux parce qu’ils s’estiment dans un cas de légitime défense ou de force majeure. C’est une posture subtile : la guerre n’est juste que si ceux qui la mènent la font malgré eux. Cette tension disparaît avec des machines. »

Certes, mais l’argument est réversible : si jamais vous disposez de robots capables de mener complètement une guerre à la place des humains, et que vous avez donc la possibilité de l’emporter sans exposer la vie d’aucun de vos militaires et sans même que les décisions létales viennent peser sur les consciences des pilotes de drones, pourquoi n’éviteriez-vous pas toutes les souffrances à votre population ? « Ce raisonnement ne me paraît pas recevable, maintient Gertz, pour cette raison que le rôle de la technologie n’est pas neutre. La technologie affecte, forme et influence nos comportements, ainsi que les processus de décision éthique. Imaginons que, comme vous le dites, le fait de déclarer la guerre puis de décimer un adversaire n’entraîne aucun coût humain, ni même psychologique, que ce soient des robots qui fassent le sale boulot. Cela abaisse vertigineusement le seuil d’acceptabilité de la guerre pour une opinion publique, un pouvoir exécutif ou un état-major. En d’autres termes, cela rend beaucoup trop facile l’acte de tuer. Imaginez un monde où prolifèrent des robots ayant un permis de tuer. Ce monde vous paraît-il souhaitable ? »

La santé, un domaine où l’IA tend à faire mieux que l’humain

“Une sonde tombe en panne lors d’une opération chirurgicale, avec des dommages pour le patient : qui est responsable ?”

Kenneth W. Goodman, professeur de médecine

Mais il est un troisième domaine à haute implication éthique où arrive rapidement l’IA : la santé. Watson, l’ordinateur d’IBM qui a remporté une partie du jeu télévisé américain Jeopardy face à des humains, a récemment diagnostiqué une forme rare de leucémie à une patiente, à l’université de Tokyo, en consultant vingt millions d’articles de recherche en dix minutes ; l’ordinateur a par ailleurs proposé un traitement adapté. Mais supposons qu’une IA commette une erreur grave de diagnostic : qui sera responsable ? « Voilà un magnifique problème, démarre avec enthousiasme Kenneth W. Goodman, professeur de médecine et directeur de l’Institut de bioéthique de l’université de Miami. Prenez le cas d’un chirurgien qui utilise, depuis dix ans, une sonde avec succès ; lors d’une opération délicate, la sonde tombe en panne, avec des dommages pour le patient. Le chirurgien est-il responsable ? Oui, si vous considérez qu’il a le même statut que le capitaine d’un bateau. Mais, à mon sens, il est plutôt question d’une responsabilité partagée. Avec les systèmes d’aide à la décision clinique [SADC] qui se multiplient nous entrons dans une ère où il y a beaucoup de niveaux de responsabilité. Qui a construit la banque de données consultée par l’IA ? Qui a écrit le programme, sachant que la plupart des codes utilisés ont été écrits par plusieurs personnes ? Certains proviennent en partie de logiciels open source, transformés par des chercheurs ou des sociétés pour une application précise. Nous allons devoir poser des normes internationales dans ce no man’s land. »

Quant à Peter Asaro, qui s’est aussi intéressé à la question de la santé, il fait remarquer que les hôpitaux sont déjà confrontés à des dilemmes éthiques liés au triage et à l’allocation de ressources rares : le sang à transfuser, les organes à transplanter... « Quels patients vont en bénéficier ? Le choix risque d’être biaisé par la subjectivité des médecins, leur sympathie pour certains patients ou même l’argent qu’un patient est disposé à verser pour ces soins vitaux. Dans ces domaines précis, il est possible que les recommandations d’une IA soient plus objectives, meilleures éthiquement, même si elles doivent être approuvées par un docteur. »

C’est l’un des rares cas, selon notre enquête, où l’humain risque d’avoir un jugement moral moins pertinent que celui de l’ordinateur. Et pour le reste ? Kenneth Goodman cite une expérience qui remonte aux balbutiements de l’IA : « Un robot a devant lui trois objets, une sphère, une pyramide et un cube en bois. Un examinateur lui demande de poser la pyramide sur le cube. Il y parvient. Bravo ! L’examinateur lui ordonne ensuite de poser la sphère sur la pyramide. Il essaie, la sphère roule. Il essaie encore, et encore, et encore… Le robot ignore que c’est impossible. Cette histoire est une parabole utile pour notre temps : nos jugements moraux supposent un arrière-plan de connaissances implicites, qui ne sont pas toutes explicitables ni programmables, car elles sont innombrables. Nous autres humains ne nous contentons jamais de suivre une règle, car les règles explicites ne valent que dans un rayon d’action très étroit. La différence entre l’IA et l’humain, ce n’est pas seulement l’interprétation du contexte, c’est que l’humain tient une multitude de principes pour acquis et évidents au point de ne pas mériter d’être énoncés. C’est pourquoi le jugement éthique humain reste indispensable. » Faudrait-il ajouter : dans l’état actuel de nos technologies ?

Cet article actualise un texte paru antérieurement dans Philosophie magazine

Photo : © Sarah5/iStockphoto