Superintelligence : Paths, Dangers, Strategies

L’auteur commence par énumérer les différentes possibilités qui pourraient conduire à l’apparition d’une superintelligence. Elles incluent le génie génétique, la reproduction sélective, le transhumanisme, l’intelligence machine soit par rétro-ingénierie soit par le développement d’algorithmes d’apprentissage. L’auteur conclut cette première prospective par la haute probabilité de l’émergence d’une superintelligence. Le temps nécessaire à cette apparition n’est pas déterminé mais selon l’auteur le risque existe que cette apparition soit très rapide. Quel que soit le calendrier, une fois que la machine d’un niveau cognitif comparable aux humains sera développée, un système « superintelligent dépassant largement les performances cognitives de l'homme dans pratiquement tous les domaines » devrait suivre étonnamment rapidement, peut-être même instantanément. Une telle superintelligence serait difficile à contrôler ou restreindre.

Alors que les objectifs ultimes d’une superintelligence pourraient varier considérablement, une superintelligence fonctionnelle générera spontanément des sous-objectifs naturels ou instrumentaux tels que l'auto-préservation, l'intégrité de ses buts, l’amélioration cognitive et l'acquisition des ressources. Par exemple, un agent dont le seul but final est de résoudre l'hypothèse de Riemann (une célèbre conjecture mathématique non résolue) pourrait signifier comme sous-objectif la transformation de l'ensemble de la Terre en une certaine forme de computronium (hypothétique « matière programmable ») pour faciliter le calcul. La superintelligence agirait proactivement pour parer toutes tentatives extérieures visant à entraver la réalisation de ce sous-objectif. Afin d'éviter une telle catastrophe existentielle, il semble nécessaire de résoudre le « problème du contrôle de l'IA » avant qu’une première superintelligence ne voie le jour. La solution pourrait impliquer d'inculquer à la superintelligence des objectifs compatibles avec la survie humaine et son bien-être. Résoudre le problème du contrôle est cependant étonnamment difficile parce que la plupart des objectifs, lorsqu'ils sont traduits en code implémentable dans une machine, conduisent à des conséquences imprévues et indésirables.

Le livre a été classé n° 17 meilleur livre de science en août 2014 par le New York Times^[6]. Durant le même mois, le magnat des affaires Elon Musk a fait la une des titres en déclarant, en accord avec le livre, que l'intelligence artificielle était potentiellement plus dangereuse que les armes nucléaires^[7],[8],[9]. Le travail de Bostrom sur la superintelligence a également influencé Bill Gates^[10],[11]. Dans une interview de mars 2015 avec le PDG de Baidu, Robert Li, M. Gates a affirmé qu'il « recommandait vivement » la lecture du livre de Bostrom^[12].

Pour l'éditeur du Financial Times, l'écriture de Bostrom « était parfois opaque trahissant son expérience en tant que professeur de philosophie », mais que l’ouvrage était convaincant, démontrant que le risque d’une superintelligence était assez grand pour que la société réfléchisse dès maintenant aux moyens de doter à l'avenir une intelligence machinelle de valeurs positives^[13]. Une revue dans The Guardian fait remarquer que « même les machines les plus sophistiquées créées aujourd’hui sont loin d’être intelligentes » et que « les premières prédictions d’une IA surhumaine dataient des années 1960 », l’article concède malgré tout qu’il « serait mal avisé de rejeter complètement cette possibilité »^[2].

Certains collègues de Bostrom suggèrent qu’une guerre nucléaire reste une plus grande menace pour l'humanité qu’une superintelligence, de même que les perspectives qu’apportent les nanotechnologies et la biotechnologie en matière d’armement destructeur^[14]. The Economist déclare que « Bostrom est contraint de passer une grande partie du livre à discuter de spéculations construites sur des conjectures... mais que le livre est néanmoins intéressant ». Les implications de l'introduction d'une deuxième espèce intelligente sur Terre sont potentiellement assez grandes pour mériter qu’on s’y arrête, même si les perspectives semblent lointaines »^[15]. Ronald Bailey écrit dans le libertarien Reason que pour Bostrom la résolution du problème du contrôle de l'IA est la « tâche essentielle assignée à notre époque »^[16]. Selon Tom Chivers de The Daily Telegraph, le livre est difficile à lire, mais néanmoins enrichissant^[17].

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Superintelligence: Paths, Dangers, Strategies » (voir la liste des auteurs).