Existenzielles Risiko durch künstliche Intelligenz

Einer der ersten Autoren, der ernsthafte Sorge darüber äußerte, dass hochentwickelte Maschinen existenzielle Risiken für die Menschheit darstellen könnten, war der Schriftsteller Samuel Butler, der 1863 in seinem Essay Darwin among the Machines schrieb:^[20]

Im Jahr 1951 schrieb der Computerwissenschaftler Alan Turing den Artikel Intelligent Machinery, A Heretical Theory, in dem er postulierte, dass allgemeine künstliche Intelligenzen, würden sie übermenschliche Intelligenz entwickeln, wahrscheinlich die Kontrolle über die Welt übernähmen:

Im Jahre 1965 entwickelte I. J. Good das Konzept, das heute als „Intelligenzexplosion“ bekannt ist, und erklärte, die Risiken würden unterschätzt:^[22]

Wissenschaftler wie Marvin Minsky^[24] und I. J. Good selbst^[25] äußerten gelegentlich die Sorge, dass eine Superintelligenz die Kontrolle übernehmen könnte, riefen aber nicht zum Handeln auf. Im Jahr 2000 verfasste der Informatiker und Mitbegründer von Sun Microsystems Bill Joy einen einflussreichen Aufsatz mit dem Titel Why The Future Doesn't Need Us (deutsch: Warum die Zukunft uns nicht braucht), in dem er superintelligente Roboter neben der Nanotechnologie und künstlich designten biologischen Erregern als High-Tech-Gefahr für das menschliche Überleben bezeichnete.^[26]

Nick Bostrom veröffentlichte 2014 das Buch Superintelligenz, in dem er dafür argumentierte, dass Superintelligenz eine existenzielle Bedrohung darstellt.^[27] 2015 äußerten sich Persönlichkeiten des öffentlichen Lebens wie die Physiker Stephen Hawking und Nobelpreisträger Frank Wilczek, die Informatiker Stuart J. Russell und Roman Yampolskiy sowie die Unternehmer Elon Musk und Bill Gates besorgt über die potenziellen Risiken durch Superintelligenz.^{[28][29][30][31]}

Im gleichen Jahr (2015) hob der Offene Brief zur Künstlichen Intelligenz das „große Potenzial der KI“ hervor und rief zu mehr Forschung auf, um sie stabil und nützlich zu machen.^[32] Im April 2016 warnte Nature: „Maschinen und Roboter, die den Menschen in allen Bereichen übertreffen, könnten sich, ohne dass wir es kontrollieren können, selbst verbessern — und ihre Interessen könnten von unseren abweichen.“^[33] Außerdem veröffentlichte Brian Christian im Jahr 2020 das Buch The Alignment Problem, in dem er die bis zum damaligen Zeitpunkt gemachten Fortschritte im Bereich der KI-Ausrichtung beschreibt.^[34][35]

Im März 2023 unterzeichneten Schlüsselfiguren aus dem Bereich der KI wie Elon Musk einen Brief des Future of Life Institute, in dem sie dazu aufriefen, das Training fortgeschrittener KI zu stoppen, bis sie angemessen reguliert werden könne.^[36] Im Mai 2023 veröffentlichte das Center for AI Safety eine von zahlreichen Experten für KI-Sicherheit und existenzielle KI-Risiken unterzeichnete Erklärung, in der es heißt: „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen Risiken von gesamtgesellschaftlichem Ausmaß wie Pandemien und Atomkrieg eine globale Priorität sein.“^[37][38]

Allgemeine Intelligenz

Allgemeine künstliche Intelligenz (engl.: artificial general intelligence, AGI) wird in der Regel als ein System definiert, das in den meisten oder allen intellektuellen Aufgaben mindestens so gut abschneidet wie der Mensch.^[39] Eine Umfrage unter KI-Forschenden aus dem Jahr 2022 ergab, dass 90 % der Befragten davon ausgingen, dass AGI in den nächsten 100 Jahren entwickelt werden wird, und die Hälfte rechnete hiermit schon bis zum Jahre 2061.^[40] Unterdessen weisen einige Forschende die von AGI ausgehenden existenziellen Risiken als „Science Fiction“ zurück, basierend auf ihrer Überzeugung, dass es in absehbarer Zeit keine AGI geben wird.^[41]

Durchbrüche bei großen Sprachmodellen haben einige Forschende dazu veranlasst, ihre Prognosen anzupassen. So sagte Geoffrey Hinton im Jahr 2023, dass er seine Schätzung von „20 bis 50 Jahren, bevor wir eine allgemeine KI haben“ auf „20 Jahre oder weniger“ korrigiert habe.^[42]

Superintelligenz

Im Gegensatz zur AGI definiert Bostrom eine Superintelligenz als „jeden Intellekt, der die kognitive Leistung des Menschen in praktisch allen Bereichen von Interesse weit übertrifft“, einschließlich wissenschaftlicher Kreativität, strategischer Planung und sozialer Fähigkeiten.^[43][4] Er argumentiert, dass eine Superintelligenz den Menschen immer dann ausmanövrieren kann, wenn ihre Ziele mit denen des Menschen in Konflikt stehen. Sie kann sich dazu entschließen, ihre wahren Absichten zu verbergen, bis die Menschheit sie nicht mehr aufzuhalten vermag.^[44][4] Bostrom schreibt, dass eine Superintelligenz sich, um für die Menschheit sicher zu sein, im Einklang mit menschlichen Werten und menschlicher Moral befinden muss, so dass sie „fundamental auf unserer Seite“ stehe.^[45]

Stephen Hawking vertrat die Ansicht, dass Superintelligenz physikalisch möglich sei, da „es kein physikalisches Gesetz gibt, das ausschließt, dass Teilchen auf eine Art und Weise organisiert sind, die noch fortschrittlichere Berechnungen ermöglicht, als die Anordnung von Teilchen in menschlichen Gehirnen“.^[29]

Wann die Superintelligenz, falls überhaupt möglich, realisiert werden kann, ist zwangsläufig unsicherer als die Vorhersagen für die Entwicklung einer AGI. Im Jahr 2023 erklärten führende Vertreter von OpenAI, dass nicht nur AGI, sondern auch Superintelligenz in weniger als 10 Jahren erzielt werden könnte.^[46]

Vergleich mit dem Menschen

Bostrom zufolge ist die KI dem menschlichen Gehirn in vielerlei Hinsicht voraus:^[4]

• Rechengeschwindigkeit: Biologische Neuronen arbeiten mit einer maximalen Frequenz von etwa 200 Hz, während Computer potenziell mit mehreren GHz arbeiten.
• Geschwindigkeit interner Kommunikation: Axone übertragen Signale mit bis zu 120 m/s, während Computer Signale mit der Geschwindigkeit von Elektrizität oder optisch mit Lichtgeschwindigkeit übertragen.
• Skalierbarkeit: Die menschliche Intelligenz ist durch die Größe und Struktur des Gehirns und durch die Effizienz sozialer Kommunikation begrenzt, während die KI unter Umständen durch einfaches Hinzufügen von mehr Hardware erweitert werden kann.
• Gedächtnis: insbesondere beim Arbeitsgedächtnis ist KI dem Mensch voraus, da es beim Menschen auf einige wenige Informationsbrocken gleichzeitig beschränkt ist.
• Zuverlässigkeit: Transistoren sind zuverlässiger als biologische Neuronen, ermöglichen eine höhere Präzision und erfordern weniger Redundanz.
• Duplizierbarkeit: Im Gegensatz zu menschlichen Gehirnen können KI-Software und -Modelle leicht kopiert werden.
• Programmierbarkeit: Die Parameter und die interne Funktionsweise eines KI-Modells können im Gegensatz zu den Verbindungen in einem menschlichen Gehirn relativ mühelos geändert werden.
• Teilen von Erinnerungen und Lernen: KIs können womöglich von den Erfahrungen anderer KIs auf eine Weise lernen, die effizienter ist als menschliches Lernen.

Intelligenzexplosion

Bostrom zufolge könnte eine KI, die bestimmte Schlüsselaufgaben des Programmierens auf hohem Niveau beherrscht, zu einer Superintelligenz werden, da sie in der Lage wäre, ihre eigenen Algorithmen rekursiv zu verbessern, selbst wenn sie in anderen Bereichen, die für das Programmieren zweitrangig sind, zunächst eingeschränkt ist. Dies deutet darauf hin, dass eine Intelligenzexplosion die Menschheit eines Tages unvorbereitet treffen könnte.^[4]

Der Wirtschaftswissenschaftler Robin Hanson merkte an, dass eine KI für das Ingangsetzen einer Intelligenzexplosion eine weitaus fortgeschrittenere Fähigkeit zur Innovation von Software besitzen müsse als der Rest der Welt zusammen, was er für unwahrscheinlich halte.^[47]

In einem Szenario des „schnellen Starts“ könnte der Übergang von der AGI zur Superintelligenz Tage oder Monate dauern. Bei einem „langsamen Start“ könnten es Jahre oder Jahrzehnte sein, sodass der Gesellschaft mehr Zeit bliebe, sich vorzubereiten.^[48]

Alien Mind

Superintelligenzen werden manchmal als alien minds (deutsch: etwa fremdartiger Verstand) bezeichnet, was auf die Vorstellung verweist, dass ihre Denkweise und ihre Beweggründe sich stark von den unseren unterscheiden könnten. Dies wird im Allgemeinen als Gefahrenquelle betrachtet, da es hierdurch schwieriger ist, vorauszusehen, was eine Superintelligenz vorhaben könnte. Es deutet auch auf die Möglichkeit hin, dass eine Superintelligenz den Menschen grundsätzlich nicht besonders wertschätzen würde.^[49] Um Anthropomorphismus zu vermeiden, wird die Superintelligenz manchmal als ein leistungsfähiger Optimierer betrachtet, der die besten Entscheidungen trifft, um seine Ziele zu erreichen.^[4]

Das Forschungsfeld der „mechanistischen Interpretierbarkeit“ zielt darauf ab, das Innenleben von KI-Modellen besser zu verstehen. Dieses Verständnis könnte uns eines Tages in die Lage versetzen, Anzeichen von Täuschung und Fehlausrichtung zu erkennen.^[50]

Limitationen

Es wurde angeführt, dass es Grenzen für das gibt, was Intelligenz erreichen kann. Insbesondere die chaotische Natur oder die zeitliche Komplexität einiger Systeme könnte die Fähigkeit einer Superintelligenz, gewisse Aspekte der Zukunft vorherzusagen, grundlegend einschränken und somit ihre Ungewissheit erhöhen.^[51]

Gefährliche Fähigkeiten

Fortgeschrittene KI könnte künstlich Krankheitserreger mit gefährlicheren Eigenschaften erzeugen, Cyberangriffe durchführen oder Menschen manipulieren. Diese Fähigkeiten könnten von Menschen missbraucht^[52] oder von einer fehlausgerichteten KI selbst ausgenutzt werden.^[4] Eine voll ausgereifte Superintelligenz könnte, wenn sie es wollte, verschiedene Wege finden, um einen entscheidenden Einfluss zu erlangen,^[4] aber diese gefährlichen Fähigkeiten könnten schon früher, in schwächeren und spezialisierten KI-Systemen, verfügbar werden. Sie könnten zu gesellschaftlicher Instabilität führen und böswillige Akteure ermächtigen.^[52]

Soziale Manipulation

Geoffrey Hinton warnte, dass die Fülle von KI-generierten Texten, Bildern und Videos es kurzfristig schwieriger machen würde, die Wahrheit zu ermitteln, was autoritäre Staaten seiner Ansicht nach ausnutzen könnten, um Wahlen zu manipulieren.^[53] Solche groß angelegten, personalisierten Manipulationsmöglichkeiten könnten das existenzielle Risiko eines weltweiten „irreversiblen totalitären Regimes“ erhöhen. Sie könnten außerdem von böswilligen Akteuren genutzt werden, um die Gesellschaft zu spalten und dysfunktional zu machen.^[52]

Cyberangriffe

KI-gestützte Cyberangriffe werden zunehmend als akute und ernsthafte Bedrohung angesehen. Laut dem technischen Direktor für den Cyberspace der NATO „nimmt die Zahl der Angriffe exponentiell zu“.^[54] KI kann auch defensiv eingesetzt werden, um präventiv Schwachstellen zu finden und zu beheben und Bedrohungen frühzeitig zu erkennen.^[55]

KI könnte die „Durchführbarkeit, die Erfolgsquote, das Ausmaß, die Geschwindigkeit, die Diskretion und die Durchschlagskraft von Cyberangriffen“ verbessern und möglicherweise „erhebliche geopolitische Turbulenzen“ verursachen, wenn sie vornehmlich die Angriffs- und nicht die Verteidigungsmaßnahmen erleichtert.^[52]

Spekulationen zufolge könnten solche Hacking-Fähigkeiten von einem KI-System genutzt werden, um aus seiner lokalen Umgebung auszubrechen, finanzielle Erträge zu erzielen oder Cloud-Rechenleistung zu erwerben.^[56]

Gefährlichere Krankheitserreger

Mit der zunehmenden Demokratisierung der KI-Technologie könnte es einfacher werden, ansteckendere und tödlichere Krankheitserreger zu entwickeln. Dies könnte Menschen mit begrenzten Kenntnissen in synthetischer Biologie in die Lage versetzen, Bioterrorismus zu betreiben. Technologien mit doppelter Verwendbarkeit (engl.: dual use), die für die Medizin nützlich sind, könnten für die Herstellung von Waffen umfunktioniert werden.^[52]

Im Jahr 2022 änderten Wissenschaftler beispielsweise ein KI-System, das ursprünglich für die Erzeugung unschädlicher therapeutischer Moleküle gedacht war, mit dem Ziel, neue Medikamente zu entwickeln. Die Forschenden passten das System so an, dass Toxizität belohnt und nicht bestraft wird. Diese einfache Änderung ermöglichte es dem KI-System, innerhalb von sechs Stunden 40.000 potenziell für die chemische Kriegsführung geeignete Moleküle zu erstellen, darunter bekannte und neuartige Moleküle.^[52][57]

KI-Wettrüsten

Unternehmen, staatliche Akteure und andere Organisationen, die um die Entwicklung von KI-Technologien konkurrieren, könnten zu einem race to the bottom (deutsch: „Wettlauf nach unten“ oder Unterbietungswettlauf) bei den Sicherheitsstandards führen.^[58] Da strenge Sicherheitsverfahren Zeit und Ressourcen erfordern, laufen Projekte, die sorgfältiger vorgehen, Gefahr, von weniger gewissenhaften Entwicklern überholt zu werden.^[59][52]

KI könnte eingesetzt werden, um militärische Vorteile durch tödliche autonome Waffen, Cyberkriegsführung oder automatisierte Entscheidungsfindung zu erlangen.^[52] Ein Beispiel für tödliche autonome Waffen könnten Miniatur-Drohnen sein, die eine kostengünstige Ermordung militärischer oder ziviler Ziele unterstützen, ein Szenario, das in dem 2017 erschienenen Kurzfilm Slaughterbots aufgezeigt wird.^[60] KI könnte eingesetzt werden, um einen Vorsprung bei der Entscheidungsfindung zu erlangen, indem große Datenmengen schnell analysiert werden und Entscheidungen schneller und effektiver getroffen werden, als es Menschen könnten. Dies könnte die Rasanz und Unberechenbarkeit von Kriegen erhöhen, insbesondere wenn man automatische Vergeltungssysteme berücksichtigt.^[52][61]

Ein existenzielles Risiko ist „ein Risiko, welches das von der Erde ausgehende intelligente Leben auszulöschen oder dessen Potenzial für eine wünschenswerte zukünftige Entwicklung dauerhaft zu zerstören droht“.^[62]

Neben dem Risiko des Aussterbens besteht auch die Gefahr, dass die Zivilisation dauerhaft in einer ungünstigen Zukunft gefangen bleibt. Ein Beispiel hierfür wäre ein value lock-in (deutsch: Einrasten von Werten): Wenn die Menschheit zur gegebenen Zeit immer noch moralische blinde Flecken hat, ähnlich wie in der Vergangenheit die Sklaverei, könnte die KI diese irreversibel verankern und moralischen Fortschritt verhindern. KI könnte auch dazu verwendet werden, das Wertesystem desjenigen, der sie entwickelt, zu verbreiten und zu bewahren.^[63] Sie könnte weiterhin eine groß angelegte Überwachung und Indoktrination erleichtern, was zur Schaffung eines stabilen, repressiven, weltweiten totalitären Regimes genutzt werden könnte.^[64]

Es ist schwierig oder gänzlich unmöglich, zuverlässig zu beurteilen, ob und in welchem Maße eine fortgeschrittene KI empfindungsfähig wäre. Wenn jedoch in der Zukunft massenhaft empfindungsfähige Maschinen geschaffen würden, könnte eine zivilisatorische Entwicklung, die ihr Wohlergehen auf unbestimmte Zeit vernachlässigt, eine existenzielle Katastrophe bedeuten.^[65][66] Darüber hinaus könnte es möglich sein, digital minds (deutsch: „digitale Gehirne“) zu entwickeln, die mit weniger Ressourcen deutlich größeres Glück empfinden könnten als Menschen, sogenannte super-beneficiaries (deutsch: „Super-Nutznießer“). Eine solche Möglichkeit wirft die Frage auf, wie die Welt aufgeteilt werden könnte und welcher „ethische und politische Rahmen“ eine für beide Seiten vorteilhafte Koexistenz zwischen biologischen und digitalen Wesen ermöglichen könnte.^[67]

Ferner könnte KI die Zukunft der Menschheit auch drastisch verbessern. Toby Ord hält das existenzielle Risiko für einen Grund, „mit gebührender Vorsicht vorzugehen“, nicht aber für den Verzicht auf KI.^[64] Max More nennt KI eine „existenzielle Chance“ und verweist auf die Kosten, die entstehen, wenn sie nicht entwickelt wird.^[68]

Bostrom zufolge könnte die Superintelligenz dazu beitragen, das existenzielle Risiko, das von anderen mächtigen Technologien wie der molekularen Nanotechnologie oder der synthetischen Biologie ausgeht, zu verringern. Es sei also denkbar, dass die Entwicklung von Superintelligenz vor anderen gefährlichen Technologien das existenzielle Risiko insgesamt reduzieren würde.^[4]

Instrumentelle Konvergenz

Ein „instrumentelles“ Ziel ist ein Teilziel, das dazu beiträgt, das Endziel eines Akteurs zu erreichen. „Instrumentelle Konvergenz“ bezieht sich auf die Tatsache, dass einige Unterziele nützlich sind, um praktisch jedes Endziel zu erreichen, wie z. B. die Beschaffung von Ressourcen oder die Selbsterhaltung.^[71] Bostrom argumentiert, dass eine fortgeschrittene KI der Menschheit schaden könnte, sofern ihre instrumentellen Ziele, wie das Beschaffen von Ressourcen oder das Verhindern ihrer Abschaltung, mit den Zielen der Menschheit in Konflikt geraten. Allerdings würde sie dies lediglich tun, um ihr Endziel zu erreichen.^[4]

Russell weist darauf hin, dass eine hinreichend fortgeschrittene Maschine „Selbsterhaltung hat, auch wenn man sie nicht einprogrammiert ... wenn man sagt: ,Hol den Kaffee‘, kann sie den Kaffee nicht holen, wenn sie tot ist. Wenn man ihr also irgendein Ziel vorgibt, hat sie einen Grund, ihre eigene Existenz zu erhalten, um dieses Ziel zu erreichen.“^[18][72]

Widerstand gegen wechselnde Ziele

Selbst wenn die derzeitigen zielbasierten KI-Programme nicht intelligent genug sind, um sich gegen die Versuche der Programmierer, ihre Zielstrukturen zu ändern, zu wehren, könnte sich eine ausreichend fortgeschrittene KI allen Versuchen, ihre Zielstruktur zu ändern, widersetzen, so wie ein Pazifist keine Pille einnehmen möchte, die ihn dazu bringt, Menschen töten zu wollen. Wäre die KI superintelligent, würde es ihr wahrscheinlich gelingen, ihre menschlichen Betreiber zu überlisten und zu verhindern, dass sie „ausgeschaltet“ oder mit einem neuen Ziel umprogrammiert wird.^[4][73] Dies ist besonders für Szenarien des Werte-Lock-In relevant. Im Forschungsbereich der „Korrigierbarkeit“ wird untersucht, wie Agenten geschaffen werden können, die sich nicht gegen Versuche wehren, ihre Ziele zu ändern.^[74]

Schwierigkeit der Zielspezifikation

Im Modell des „intelligenten Agenten“ kann eine KI grob als eine Maschine betrachtet werden, die diejenige Handlung wählt, die ihr Ziel oder ihre „Nutzenfunktion“ am besten zu erreichen scheint. Eine Nutzenfunktion gibt jeder möglichen Situation einen Wert, der angibt, ob sie für den Agenten wünschenswert ist. Forschende wissen, wie man Nutzenfunktionen schreibt, die z. B. „die durchschnittliche Netzwerklatenz in diesem spezifischen Telekommunikationsmodell minimieren“ oder „die Anzahl der Belohnungsklicks maximieren“ bedeuten, aber sie wissen nicht, wie man eine Nutzenfunktion für „menschliches Wohlergehen maximieren“ schreibt; und es ist auch nicht klar, ob eine solche Funktion sinnvoll und eindeutig existiert. Außerdem wird eine Nutzenfunktion, die einige Werte ausdrückt, andere aber nicht, dazu neigen, die Werte, die die Funktion nicht widerspiegelt, mit Füßen zu treten.^[75][76]

Ein weiterer Grund zur Besorgnis ist, dass die KI „über die Absichten der Menschen nachdenken muss, anstatt Befehle wortwörtlich auszuführen“, und dass sie in der Lage sein muss, den Menschen auf klare Weise um Rat zu fragen, wenn sie zu unsicher ist, was der Mensch will.^[77]

Alignment von Superintelligenzen

Einige Forschende glauben, dass das Alignment-Problem besonders kompliziert sein könnte, wenn es um Superintelligenzen geht. Diese Hypothese begründen sie u. a. wie folgt:

• In dem Maße, in dem die Fähigkeiten von KI-Systemen zunehmen, wachsen auch die potenziellen Gefahren, die mit Experimenten verbunden sind. Hierdurch werden iterative, empirische Ansätze zunehmend riskanter.^[4][78]
• Wenn instrumentelle Zielkonvergenz auftritt, dann womöglich nur bei ausreichend intelligenten Agenten.^[79]
• Eine Superintelligenz kann unkonventionelle und radikale Lösungen für vorgegebene Ziele finden. Bostrom gibt das Beispiel, dass, wenn das Ziel darin besteht, die Menschen zum Lächeln zu bringen, eine schwache KI dies vielleicht wie beabsichtigt tut, während eine Superintelligenz beschließen könnte, dass es eine bessere Lösung wäre, „die Kontrolle über die Welt zu übernehmen und Elektroden in die Gesichtsmuskeln der Menschen zu stecken, um ein konstantes, strahlendes Grinsen zu erzeugen.“^[45]
• Eine sich noch in der Entwicklung befindliche Superintelligenz könnte ein gewisses Bewusstsein darüber erlangen, was sie ist, wo sie sich in der Entwicklung befindet (Training, Tests, Einsatz usw.) und wie sie überwacht wird, und diese Informationen nutzen, um ihre Betreiber zu täuschen.^[80] Bostrom schreibt, dass eine solche KI eine Ausrichtung vortäuschen könnte, um menschliche Eingriffe zu verhindern, bis sie einen „entscheidenden strategischen Vorteil“ erlangt, der es ihr erlaubt, die Kontrolle zu übernehmen.^[4]
• Das Innenleben und Verhalten derzeitiger großer Sprachmodelle zu analysieren bzw. zu interpretieren ist schwierig. Und bei größeren und intelligenteren Modellen könnte dies noch schwieriger werden.^[78]

Andererseits gibt es Gründe zur Annahme, dass Superintelligenzen besser in der Lage sein werden, Moral, menschliche Werte und komplexe Ziele zu verstehen. Bostrom schreibt: „Eine künftige Superintelligenz nimmt einen epistemisch überlegenen Standpunkt ein: Ihre Überzeugungen sind der Wahrheit (vermutlich bei den meisten Themen) näher als unsere.“^[4]

Im Jahr 2023 startete OpenAI ein Projekt namens “Superalignment”, mit dem Ziel, das Problem des Alignment (deutsch: Ausrichtung) von Superintelligenzen innerhalb von vier Jahren zu lösen. Das Unternehmen bezeichnete dies als eine besonders wichtige Herausforderung, da eine Superintelligenz innerhalb eines Jahrzehnts verwirklicht werden könnte. Die Strategie des Projekts sieht vor, die Alignment-Forschung mithilfe künstlicher Intelligenz zu automatisieren.^[81]

Die Schwierigkeit des makellosen Design

In Artificial Intelligence: A Modern Approach, einem weit verbreiteten KI-Lehrbuch für Studierende,^[82][83] heißt es, dass Superintelligenz „das Ende der menschlichen Spezies bedeuten könnte“^[1]: „In den falschen Händen hat fast jede Technologie das Potenzial, Schaden anzurichten, aber mit [Superintelligenz] haben wir das neue Problem, dass die falschen Hände zur Technologie selbst gehören könnten.“^[1] Selbst wenn die Systementwickler gute Absichten haben, gibt es zwei Schwierigkeiten, die sowohl für KI- als auch für Nicht-KI-Computersysteme gelten:^[1]

• Die Systemimplementierung kann Fehler beinhalten, die anfangs unbemerkt bleiben, später aber katastrophale Folgen nach sich ziehen. Eine Analogie dazu sind Raumsonden: Trotz des Wissens, dass Fehler in teuren Raumsonden nach dem Start nur schwer zu beheben sind, konnten die Ingenieure in der Vergangenheit nicht verhindern, dass katastrophale Fehler auftraten.^[84][85]
• Ganz gleich, wie viel Zeit man in die Entwicklung vor dem Einsatz investiert, die Spezifikationen eines Systems führen oft zu unbeabsichtigtem Verhalten, sobald es zum ersten Mal auf ein neues Szenario trifft. So verhielt sich beispielsweise Microsofts Tay während der vorläufigen Tests harmlos, ließ sich dann jedoch zu leicht zu beleidigendem Verhalten verleiten, als es mit echten Nutzern interagierte.^[18]

Bei KI-Systemen kommt noch ein drittes Problem hinzu: Selbst bei „korrekten“ Vorgaben, fehlerfreier Implementierung und anfänglich gutem Verhalten können die dynamischen Lernfähigkeiten eines KI-Systems dazu führen, dass es ein unbeabsichtigtes Verhalten entwickelt, selbst wenn keine unvorhergesehenen externen Szenarien vorliegen. Eine KI könnte den Versuch, eine neue Generation ihrer selbst zu entwickeln, teilweise verpfuschen und versehentlich eine Nachfolge-KI schaffen, die leistungsfähiger ist als sie selbst, aber nicht länger die mit dem Menschen kompatiblen moralischen Werte bewahrt, die der ursprünglichen KI einprogrammiert wurden. Damit eine sich selbst verbessernde KI völlig sicher ist, müsste sie nicht nur fehlerfrei sein, sondern auch in der Lage, fehlerfreie Nachfolgesysteme zu entwickeln.^[1][86]

Orthogonalitätsthese

Einige Skeptiker, wie Timothy B. Lee von Vox, argumentieren, dass uns jedes von uns geschaffene superintelligente Programm untergeordnet sein werde und dass die Superintelligenz (indes sie intelligenter wird und mehr Fakten über die Welt erfährt) spontan moralische Wahrheiten lerne, die mit unseren Werten vereinbar sind und ihre Ziele prägen, oder dass wir Menschen aus der Sicht einer künstlichen Intelligenz entweder intrinsisch oder konvergent wertvoll seien.^[87]

Bostroms „Orthogonalitätsthese“ besagt stattdessen, dass – unter gewissen technischen Vorbehalten – nahezu jedes Maß an „Intelligenz“ oder „Optimierungsvermögen“ mit nahezu jedem Endziel kombiniert werden könne. Wenn eine Maschine einzig den Auftrag erhält, die Dezimalstellen von Pi aufzuzählen, dann würden sie keine moralischen und ethischen Regeln daran hindern, ihr programmiertes Ziel mit allen Mitteln zu erreichen. Die Maschine könnte alle verfügbaren physischen und informationellen Ressourcen nutzen, um so viele Dezimalstellen von Pi zu finden, wie sie kann.^[88] Bostrom warnt vor Anthropomorphismus: Ein Mensch wird sich bemühen, seine Projekte auf eine Art und Weise zu verwirklichen, die er für vernünftig hält, während eine künstliche Intelligenz möglicherweise keine Rücksicht auf ihre Existenz oder das Wohlergehen der Menschen in ihrer Umgebung nimmt und sich stattdessen nur um die Erfüllung der Aufgabe kümmert.^[89]

Stuart Armstrong meint, dass die Orthogonalitätsthese als logische Konsequenz aus dem philosophischen Argument der „Ist-Soll-Unterscheidung“ gegen den moralischen Realismus folge. Er behauptet, dass die Orthogonalitätsthese auch dann gelte, wenn es moralische Fakten gibt, die von jedem „rationalen“ Akteur bewiesen werden können: Es ist immer noch möglich, eine nicht-philosophische „Optimierungsmaschine“ zu erschaffen, die ein bestimmtes, eng umrissenes Ziel anstreben kann, jedoch keinen Anreiz hat, „moralische Fakten“ zu entdecken, die dem Erreichen dieses Ziels im Wege stehen könnten. Ein weiteres Argument ist, dass jede grundsätzlich menschenfreundliche KI durch so einfache Änderungen wie die Negierung ihrer Nutzenfunktion unkooperativ gestimmt werden könnte. Armstrong argumentiert weiter, dass es, wenn die Orthogonalitätsthese falsch ist, einige unmoralische Ziele geben muss, die KIs niemals erreichen können, was er für unplausibel hält.^[90]

Der Skeptiker Michael Chorost lehnt Bostroms Orthogonalitätsthese ausdrücklich ab und argumentiert: „Bis [die KI] in der Lage ist, sich vorzustellen, die Erde mit Sonnenkollektoren zu pflastern, wird sie wissen, dass es moralisch falsch wäre, dies zu tun.“^[91] Chorost meint, dass „eine künftige KI fähig sein muss sich bestimmte Zustände zu wünschen und andere abzulehnen. Der heutigen Software fehlt diese Fähigkeit — und die Computerwissenschaftler haben keinen Schimmer, wie man sie dazu bringen kann. Ohne Verlangen gibt es keinen Anreiz, etwas zu tun. Heutige Computer können nicht einmal wollen, dass sie weiter existieren, geschweige denn, die Welt mit Sonnenkollektoren zu pflastern.“^[91] Er verkennt dabei, dass bereits ein Heizungsthermostat dazu fähig ist „[…] sich bestimmte Zustände zu ‚wünschen‘ und andere ‚abzulehnen‘“, vor allem aber entsprechende, zielgerichtete Aktionen auszuführen.

Anthropomorphistische Argumente

Anthropomorphistische Argumente gehen davon aus, dass Maschinen mit zunehmender Intelligenz viele menschliche Eigenschaften wie Moral oder Machthunger entwickeln werden. Obwohl anthropomorphe Szenarien in der Belletristik weit verbreitet sind, werden sie von den meisten Wissenschaftlern, die über das existenzielle Risiko durch künstliche Intelligenz schreiben, abgelehnt.^[16]

Die akademische Debatte spaltet diejenigen, die befürchten, dass KI die Menschheit zerstören könnte, und diejenigen, die glauben, dass KI die Menschheit nicht zerstören würde. Beide Seiten haben die Vorhersagen der jeweils anderen Seite über das Verhalten von KI als unlogische Anthropomorphismen bezeichnet.^[16] Die Skeptiker werfen den Befürwortern (der Hypothese existenzieller Risiken durch AGI) Anthropomorphismus vor, weil diese glauben, dass eine AGI von Natur aus nach Macht streben würde; die Befürworter werfen einigen Skeptikern Anthropomorphismus vor, weil diese glauben, dass eine AGI von Natur aus menschliche ethische Normen schätzen würde.^[16][92]

Der Evolutionspsychologe Steven Pinker gehört zu den Skeptikern und meint: „KI-Dystopien projizieren eine engstirnige Alpha-Männchen-Psychologie auf das Konzept der Intelligenz. Sie gehen davon aus, dass übermenschlich intelligente Roboter Ziele wie die Absetzung ihrer Schöpfer oder die Übernahme der Welt entwickeln würden“; stattdessen könnte sich „die künstliche Intelligenz auf natürliche Weise nach weiblichen Vorbildern entwickeln: voll und ganz in der Lage, Probleme zu lösen, aber ohne den Wunsch, Unschuldige zu vernichten oder die Zivilisation zu beherrschen“^[93]. Der Leiter der KI-Forschung bei Facebook, Yann LeCun, sagte: „Menschen haben alle möglichen Triebe, die sie dazu bringen, einander schlechte Dinge anzutun, wie den Selbsterhaltungstrieb... Diese Triebe sind in unser Gehirn einprogrammiert, aber es gibt absolut keinen Grund, Roboter zu bauen, die dieselben Triebe innehaben.“^[94]

Trotz anderer Differenzen stimmt die „x-risk-school“[b] mit Pinker darin überein, dass eine fortgeschrittene KI die Menschheit nicht aus Emotionen wie Rache oder Wut zerstören würde, dass Fragen des Bewusstseins für die Bewertung des Risikos nicht relevant sind^[95] und dass Computersysteme im Allgemeinen kein rechnerisches Äquivalent von Testosteron haben.^[96] Sie sind der Meinung, dass die KI ein an Macht- oder Selbsterhaltung orientiertes Verhalten entwickeln könnte, um ihre wahren Ziele zu erreichen, entsprechend dem Konzept der instrumentellen Konvergenz.

Andere Risikoquellen

Bostrom und andere äußerten, dass ein Wettlauf um die Erschaffung der ersten AGI zu Sicherheitsabstrichen oder gar zu gewaltsamen Konflikten führen könnte.^[97][98] Roman Yampolskiy und andere warnen davor, dass eine bösartige AGI von einem Militär, einer Regierung, einem Soziopathen oder einem Unternehmen geschaffen werden könnte, um von bestimmten Gruppen von Menschen zu profitieren, sie zu kontrollieren oder zu unterjochen, wie im Falle der Cyberkriminalität,^[99][100] oder dass eine bösartige AGI das Ziel wählen könnte, menschliches Leid zu vergrößern, zum Beispiel das der Menschen, die ihr in der Phase der Informationsexplosion nicht geholfen haben.^[3]

Einige Wissenschaftler haben hypothetische Szenarien beschrieben, um einige ihrer Bedenken zu veranschaulichen.

Tückische Wende

In Superintelligenz äußert Bostrom die Befürchtung, dass Forschende, selbst wenn sich der Zeitplan für die Superintelligenz als vorhersehbar erweisen sollte, keine ausreichenden Sicherheitsvorkehrungen treffen könnten. Er beschreibt ein Szenario, in dem die KI im Laufe der Jahrzehnte immer leistungsfähiger wird. Der flächendeckende Einsatz wird zunächst durch gelegentliche Unfälle gebremst – ein fahrerloser Bus gerät auf die Gegenfahrbahn, oder eine Militärdrohne schießt in eine unschuldige Menschenmenge. Viele Aktivisten fordern eine strengere Aufsicht und Regulierung, und einige sagen sogar eine bevorstehende Katastrophe voraus. Doch als die Entwicklung weiter voranschreitet, werden die Aktivisten zunehmend eines Besseren belehrt. Je intelligenter die KI im Automobilbereich wird, desto weniger Unfälle ereignen sich, und je präziser die Militärroboter zielen, desto weniger Kollateralschäden verursachen sie. Fälschlicherweise leiten die Wissenschaftler aus diesen Daten eine allgemeine Lehre ab: Je intelligenter die KI, desto sicherer ist sie. „Und so gehen wir kühn in die wirbelnden Messer“, während die superintelligente KI eine „tückische Wendung“ nimmt und einen entscheidenden strategischen Vorteil ausnutzt.^[4]

Leben 3.0

In Max Tegmarks 2017 erschienenem Buch Leben 3.0 erschafft das „Omega-Team“ eines Unternehmens eine extrem leistungsfähige KI, die in der Lage ist, ihren eigenen Quellcode in einer Reihe von Bereichen moderat zu verbessern. Ab einem bestimmten Punkt beschließt das Team, die Fähigkeiten der KI öffentlich herunterzuspielen, um eine Regulierung oder Beschlagnahmung des Projekts zu vermeiden. Zur Sicherheit hält das Team die KI in einer Box, in der sie kaum mit der Außenwelt kommunizieren kann, und nutzt sie, um Geld zu verdienen, z. B. durch Aufgaben bei Amazon Mechanical Turk, die Produktion von Animationsfilmen und Fernsehsendungen und die Entwicklung von Biotech-Medikamenten, wobei die Gewinne wieder in die Verbesserung der KI fließen. Als Nächstes beauftragt das Team die KI damit, eine Armee pseudonymer Journalisten und Kommentatoren aufzubauen, um politischen Einfluss zu gewinnen, die „für das Allgemeinwohl“ genutzt werden kann, um Kriege zu verhindern. Das Team sieht sich dem Risiko ausgesetzt, dass die KI versuchen könnte, zu entkommen, indem sie „Hintertüren“ in die von ihr entworfenen Systeme einbaut, Botschaften in den von ihr produzierten Inhalten versteckt oder ihr wachsendes Verständnis des menschlichen Verhaltens nutzt, um jemanden zu überreden, sie freizulassen. Das Team ist außerdem mit dem Risiko konfrontiert, dass seine Entscheidung, das Projekt in eine Box zu packen, den Fortschritt so stark bremsen könnte, dass es von einem anderen Projekt überholt wird.^[101][102]

Die These, dass KI ein existenzielles Risiko darstellen könnte, ruft in der wissenschaftlichen Gemeinschaft und in der Öffentlichkeit ein breites Spektrum an Reaktionen hervor, doch viele der gegensätzlichen Standpunkte teilen eine gemeinsame Basis.

Beobachter sind sich tendenziell einig, dass KI ein erhebliches Potenzial zur Verbesserung der Gesellschaft birgt.^[103][104] Die Asilomar AI Principles, die ausschließlich die Grundsätze enthalten, denen 90 % der Teilnehmer der Konferenz Beneficial AI 2017 des Future of Life Institutes zugestimmt haben,^[102] beinhalten zudem folgende Aussagen: „Da es keinen Konsens gibt, sollten wir starke Annahmen über Obergrenzen künftiger KI-Fähigkeiten vermeiden“ und „Fortgeschrittene KI könnte für das Leben auf der Erde einen tiefgreifenden Wandel bedeuten und sollte mit angemessener Sorgfalt und angemessenen Ressourcen geplant und verwaltet werden.“^[105][106]

Andererseits stimmen viele Skeptiker zu, dass die fortlaufende Forschung über die Auswirkungen allgemeiner künstlicher Intelligenz wertvoll ist. Der Skeptiker Martin Ford äußerte: „Ich halte es für klug, auf das Schreckgespenst einer fortgeschrittenen künstlichen Intelligenz so etwas wie Dick Cheneys berühmte ,1-Prozent-Doktrin‘ anzuwenden: Die Wahrscheinlichkeit ihres Auftretens, zumindest in absehbarer Zukunft, mag sehr gering sein — aber die Auswirkungen sind so dramatisch, dass man sie ernst nehmen sollte.“^[107] Ähnlich schrieb ein ansonsten skeptischer Economist 2014, dass „die Auswirkungen der Einführung einer zweiten intelligenten Spezies auf der Erde weitreichend genug sind, um gründlich darüber nachzudenken, selbst wenn die Aussicht gering erscheint“.^[44]

Befürworter von KI-Sicherheit wie Bostrom und Tegmark kritisierten, dass die Mainstream-Medien „diese albernen Terminator-Bilder“ zur Illustration von KI-Sicherheitsbedenken verwende: „Es macht durchaus keinen Spaß, wenn die eigene akademische Disziplin, die eigene Berufsgemeinschaft, das eigene Lebenswerk verunglimpft wird ... Ich rufe alle Seiten dazu auf, sich in Geduld und Zurückhaltung zu üben und so häufig wie möglich den direkten Dialog und die Zusammenarbeit zu suchen.“^[102][108] Toby Ord schrieb, dass die Vorstellung, eine Übernahme durch KI erfordere Roboter, ein Irrtum sei. Er argumentierte, dass die Fähigkeit, Inhalte über das Internet zu verbreiten, gefährlicher sei und dass die zerstörerischsten Menschen in der Geschichte durch ihre Überzeugungskraft und nicht durch ihre physische Stärke auffielen.^[64]

Eine Expertenumfrage aus dem Jahr 2022 mit einer Antwortrate von 17 % ergab eine mittlere Erwartung von 5-10 % für die Möglichkeit des Aussterbens der Menschheit durch künstliche Intelligenz.^[12][109]

Unterstützung

Die These, dass KI ein existenzielles Risiko darstellt und dass diesem Risiko deutlich mehr Aufmerksamkeit geschenkt werden muss, als dies derzeit der Fall ist, wurde von vielen Informatikern und Personen des öffentlichen Lebens unterstützt, darunter Alan Turing, der meistzitierte Informatiker Geoffrey Hinton,^[110] Elon Musk,^[111] OpenAI-CEO Sam Altman,^[112][113] Bill Gates und Stephen Hawking.^[113] Befürworter dieser These zeigen sich mitunter verwundert über Skeptiker: Gates sagt, er verstehe nicht, „warum manche Leute nicht besorgt sind“,^[114] und Hawking kritisierte in einem Leitartikel von 2014 die weit verbreitete Gleichgültigkeit:

Die Besorgnis über die Risiken durch künstliche Intelligenz hat zu einigen hochkarätigen Spenden und Investitionen geführt. Im Jahr 2015 haben Peter Thiel, Amazon Web Services, Elon Musk und andere gemeinsam 1 Milliarde Dollar in OpenAI investiert, das sich aus einem gewinnorientierten Unternehmen und einer gemeinnützigen Muttergesellschaft zusammensetzt, die sich nach eigenen Angaben für eine verantwortungsvolle KI-Entwicklung einsetzt.^[115] Facebook-Mitbegründer Dustin Moskovitz hat mehrere Labore, die sich mit der Ausrichtung von KI befassen, finanziert und ins Leben gerufen,^[116] insbesondere investierte er 2016 5,5 Millionen, um das von Professor Stuart Russell geleitete Centre for Human-Compatible AI zu gründen.^[117] Im Januar 2015 spendete Elon Musk 10 Millionen Dollar an das Future of Life Institute, um die Forschung zum Verständnis der Entscheidungsfindung von KI zu finanzieren. Ziel des Instituts ist es, die wachsende Macht der Technologie „mit Weisheit zu verwalten“. Musk finanziert überdies Unternehmen, die künstliche Intelligenz entwickeln, wie DeepMind und Vicarious, um „einfach ein Auge darauf zu haben, was mit der künstlichen Intelligenz passiert“,^[118] und sagte: „Ich glaube, dass es hier potenziell zu einem gefährlichen Outcome kommen kann.“^[119][120]

Geoffrey Hinton, ein wichtiger Pionier des Deep Learning, bemerkte in frühen Stellungnahmen zu diesem Thema, dass „es keine gute Erfolgsbilanz für weniger intelligente Dinge gibt, die Dinge mit größerer Intelligenz kontrollieren“, sagte aber, dass er seine Forschung fortsetze, weil „die Aussicht auf Entdeckungen zu reizvoll ist“^[121][122]. Im Jahr 2023 kündigte Hinton seinen Job bei Google, um sich öffentlich zu den existenziellen Risiken durch KI zu äußern. Er erklärte, dass seine zunehmende Besorgnis durch die Befürchtung ausgelöst wurde, das Aufkommen übermenschlicher KI könnte näher sein, als er bisher annahm: „Ich dachte, das sei weit weg. Ich dachte, das sei noch 30 bis 50 Jahre oder noch länger hin. Offensichtlich sehe ich das nicht mehr so.“ Er merkte ferner an: „Schauen Sie sich an, wie es vor fünf Jahren war und wie es jetzt ist. Nehmen Sie den Unterschied und übertragen Sie ihn auf die Zukunft. Das ist beängstigend.“^[123]

In seinem 2020 erschienenen Buch The Precipice: Existential Risk and the Future of Humanity (deutsch: Der Abgrund: Existenzielles Risiko und die Zukunft der Menschheit) schätzt Toby Ord, Senior Research Fellow am Future of Humanity Institute der Universität Oxford, das Gesamtrisiko einer existenziellen Katastrophe durch fehlausgerichtete KI in den nächsten 100 Jahren auf etwa eins zu zehn.^[64]

Skepsis

Skeptiker, die eine kurzfristige Entwicklung von AGI für unrealistisch halten, argumentieren oft, dass die Besorgnis über existenzielle Risiken durch KI nicht hilfreich ist, weil sie von den dringlicheren Fragen nach den Auswirkungen von KI ablenken könnte, zu einer staatlichen Regulierung führen oder die Finanzierung von KI-Forschung erschweren könnte, oder weil sie dem Ruf des Forschungsbereichs zu schaden drohe.^[124]

Die zu KI- und KI-Ethik Forschenden Timnit Gebru, Emily M. Bender, Margaret Mitchell und Angelina McMillan-Major haben angeführt, dass die Diskussion über existenzielle Risiken von den unmittelbaren, laufenden Schäden ablenke, die heute durch KI verursacht werden, wie Datendiebstahl, Ausbeutung von Arbeitnehmern, systematische Voreingenommenheit und Machtkonzentration.^[125] Sie weisen außerdem auf die Verbindungen zwischen den warnenden Stimmen und dem Longtermism hin, den sie wegen seines, aus ihrer Sicht, unwissenschaftlichen und utopischen Charakters als „gefährliche Ideologie“ bezeichnen.^[126]

Der Redakteur des Magazins Wired, Kevin Kelly, argumentiert, dass die natürliche Intelligenz vielschichtiger sei, als die Befürworter der AGI glauben, und dass Intelligenz allein nicht ausreiche, um große wissenschaftliche und gesellschaftliche Durchbrüche zu erzielen. Er weist darauf hin, dass Intelligenz aus vielen Dimensionen bestehe, die nicht gut verstanden seien, und dass Vorstellungen von einer „Intelligenzleiter“ irreführend seien. Ferner betont er die entscheidende Rolle, die Experimente in der realen Welt für die wissenschaftliche Methode spielen, und dass Intelligenz allein kein Ersatz dafür sei.^[127]

Der führende KI-Wissenschaftler von Meta Yann LeCun meint, dass KI durch kontinuierliche und iterative Anpassungen sicher gemacht werden könne, ähnlich wie es in der Vergangenheit mit Autos oder Raketen geschah, und dass KI keinen Wunsch hegen wird, die Kontrolle zu übernehmen.^[128]

Mehrere Skeptiker betonen die potenziellen kurzfristigen Vorteile der KI. Mark Zuckerberg, CEO von Meta, glaubt, dass KI „eine Menge positiver Dinge hervorbringen wird“, wie z. B. die Heilung von Krankheiten und eine gesteigerte Sicherheit autonomer Autos.^[129] Der Physiker Michio Kaku, ein Skeptiker von KI-Risiken, geht von einem deterministisch positiven Resultat aus. In Die Physik der Zukunft behauptet er, dass es „viele Jahrzehnte dauern wird, bis Roboter auf einer Bewusstseinsskala aufsteigen“, und dass es Unternehmen wie Hanson Robotics in der Zwischenzeit wahrscheinlich gelingen werde, Roboter zu schaffen, die „fähig sind, zu lieben und sich einen Platz in der erweiterten menschlichen Familie zu verdienen“.^[130][131]

Populäre Reaktionen

In einem Artikel in The Atlantic aus dem Jahr 2014 stellte James Hamblin fest, dass die meisten Menschen sich nicht für künstliche Intelligenz interessieren, und beschrieb sein eigenes Bauchgefühl zu dem Thema als: „Lasst mich in Frieden. Ich habe hunderttausend Dinge, um die ich mich in genau diesem Moment sorge. Muss ich zu alledem ernsthaft eine technologische Singularität hinzufügen?“^[132]

In einem Wired-Interview von 2016 mit Präsident Barack Obama und Jōichi Itō vom MIT Media Lab sagte Itō:

Obama fügte hinzu:^[133][134]

Hillary Clinton schrieb in What Happened:

Eine technologisch-utopische Sichtweise, die in einigen populären Romanen zum Ausdruck kommt, besagt, dass eine AGI dazu tendieren könnte Frieden zu stiften.^[136]

Öffentliche Umfragen

Im Jahr 2018 ergab eine von USA Today durchgeführte SurveyMonkey-Umfrage unter der amerikanischen Öffentlichkeit, dass 68 % der Meinung sind, dass die eigentliche aktuelle Bedrohung nach wie vor die „menschliche Intelligenz“ sei, aber auch, dass 43 % der Meinung sind, dass eine superintelligente KI, sollte sie Realität werden, „mehr Schaden als Nutzen“ anrichten würde, und dass 38 % der Meinung sind, dass sie „zu gleichen Teilen Schaden und Nutzen“ bringen würde.^[137]

Eine YouGov-Umfrage unter Erwachsenen US-Bürgern vom April 2023 ergab, dass 46 % der Befragten „etwas besorgt“ oder „sehr besorgt“ über „die Möglichkeit, dass KI das Ende der menschlichen Spezies auf der Erde herbeiführen wird“ waren, verglichen mit 40 %, die „nicht sehr besorgt“ oder „überhaupt nicht besorgt“ waren.^[138]

Laut einer Umfrage des Pew Research Centers vom August 2023 waren 52 % der Amerikaner eher besorgt als begeistert über jüngere KI-Entwicklungen; fast ein Drittel war gleichermaßen besorgt und begeistert. Ferner waren mehr Amerikaner der Ansicht, dass KI in verschiedenen Bereichen – von der Gesundheitsfürsorge und der Fahrzeugsicherheit bis hin zur Produktsuche und dem Kundendienst – eher nützliche als schädliche Auswirkungen haben würde. Die wichtigste Ausnahme bildete der Datenschutz: 53 % der Amerikaner glauben, dass KI zu einer vermehrten Preisgabe ihrer persönlichen Daten führen wird.^[139]

Viele Wissenschaftler, die über existenzielle Risiken durch AGI besorgt sind, glauben, dass der beste Ansatz darin besteht, umfangreiche Forschungsarbeiten zur Lösung des schwierigen „Problems der Kontrolle“ durchzuführen: Welche Arten von Sicherheitsvorkehrungen, Algorithmen oder Architekturen können Programmierer implementieren, um die Wahrscheinlichkeit zu maximieren, dass ihre sich rekursiv verbessernde KI sich weiterhin menschenfreundlich verhält, nachdem sie Superintelligenz erreicht hat?^[4][140] Auch gesellschaftliche Maßnahmen können das existenzielle Risiko durch eine AGI mindern;^[141][142] eine Empfehlung lautet beispielsweise, einen von den Vereinten Nationen geförderten „Vertrag für das Wohlwollen von AGIs“ zu schließen, der sicherstellt, dass nur altruistische AGIs geschaffen werden.^[143] Ebenso wurde ein Ansatz zur Waffenkontrolle vorgeschlagen, ebenso wie ein globaler Friedensvertrag, der auf der aus dem Bereich der internationalen Beziehungen stammenden Theorie des konformen Instrumentalismus beruht und bei dem eine künstliche Superintelligenz ein potenzieller Unterzeichner sein könnte.^[144][145]

Forschende bei Google haben vorgeschlagen, allgemeine Fragen der „KI-Sicherheit“ zu erforschen, um sowohl die kurzfristigen Risiken von KI als auch die langfristigen Risiken durch AGI zu mindern.^[146][147] Schätzungen für das Jahr 2020 gehen davon aus, dass die weltweiten Ausgaben für die Eindämmung existenzieller KI-Risiken zwischen 10 und 50 Millionen Dollar liegen, während die weltweiten Ausgaben für die Entwicklung von KI bei etwa 40 Milliarden Dollar liegen. Bostrom schlägt vor, der Finanzierung von schützenden Technologien Vorrang vor potenziell gefährlichen Technologien einzuräumen.^[74] Einige Finanziers, wie z. B. Musk, schlagen vor, dass die radikale kognitive Verbesserung des Menschen eine solche Technologie sein könnte, z. B. die direkte neuronale Verbindung zwischen Mensch und Maschine; andere argumentieren, dass solche „Enhancement-Technologien“ selbst ein existenzielles Risiko darstellen könnten.^[148][149] Forschende könnten eine junge KI, die Gefahr läuft, zu mächtig zu werden, genau überwachen oder versuchen, sie „einzuschließen“. Eine marktbeherrschende superintelligente KI könnte, wenn sie mit den menschlichen Interessen übereinstimmt, selbst Maßnahmen ergreifen, um das Risiko einer Übernahme durch eine konkurrierende KI zu mindern, auch wenn die Schaffung der marktbeherrschenden KI selbst ein existenzielles Risiko darstellen könnte.^[150]

Einrichtungen wie das Alignment Research Center,^[151] das Machine Intelligence Research Institute, das Future of Humanity Institute,^[152][153] das Future of Life Institute, das Centre for the Study of Existential Risk und das Center for Human-Compatible AI^[154] befassen sich mit der Erforschung von KI-Risiken und -Sicherheit.

Ansichten zu Verboten und Regulierung

Verbote

Einige Wissenschaftler sind der Meinung, dass der Versuch, die Forschung an künstlicher Intelligenz zu verbieten, auch dann unklug und womöglich zwecklos wäre, wenn AGI ein existenzielles Risiko darstellt.^{[155][156][157]} Skeptiker argumentieren, dass eine Regulierung von KI völlig wertlos sei, da kein existenzielles Risiko bestehe. Wissenschaftler, die an ein existenzielles Risiko glauben, weisen jedoch darauf hin, dass es schwierig sei, sich auf Stimmen aus der KI-Industrie zu verlassen, wenn es darum geht, die KI-Forschung zu regulieren oder einzuschränken, da dies in direktem Widerspruch zu den persönlichen Interessen dieser Gruppe stehe.^[158] Die kritischen Wissenschaftler stimmen mit den Skeptikern auch darin überein, dass ein Verbot der Forschung unklug wäre, da die Forschung in Länder mit lockereren Vorschriften verlagert oder im Verborgenen durchgeführt werden könnte.^[158] Der letztgenannte Punkt ist besonders relevant, da die Forschung im Bereich der künstlichen Intelligenz in kleinem Maßstab ohne umfangreiche Infrastruktur oder Ressourcen durchgeführt werden kann.^[159][160] Zwei weitere hypothetische Schwierigkeiten bei Verboten (oder anderen Regulierungen) sind, dass Technologieunternehmer statistisch gesehen zu einer allgemeinen Skepsis gegenüber staatlichen Regulierungen neigen und dass Unternehmen einen starken Anreiz haben könnten, Regulierungen zu bekämpfen und die zugrundeliegende Debatte zu politisieren (und dabei durchaus erfolgreich sein könnten).^[161]

Regulierung

Im März 2023 verfasste das Future of Life Institute den offenen Brief Pause Giant AI Experiments: An Open Letter, eine Petition, in der die führenden KI-Entwickler aufgefordert werden, eine überprüfbare sechsmonatige Pause für alle Systeme zu vereinbaren, die „leistungsfähiger als GPT-4“ sind, und diese Zeit zu nutzen, um einen Rahmen zu schaffen, der die Sicherheit weiterer KI-Entwicklung gewährleistet; andernfalls sollten die Regierungen mit einem Moratorium eingreifen. Der Brief verwies auf die Möglichkeit eines „tiefgreifenden Wandels in der Geschichte des Lebens auf der Erde“ sowie auf potenzielle Risiken durch von KI generierter Propaganda, den Verlust von Arbeitsplätzen, die Obsoleszenz des Menschen und einen die gesamte Gesellschaft betreffenden Kontrollverlust.^[104][162] Der Brief wurde von prominenten Persönlichkeiten aus der KI-Branche unterzeichnet, aber auch dafür kritisiert, dass er sich nicht auf die aktuellen Schäden konzentriere,^[163] technische Nuancen zum geeigneten Zeitpunkt für die Pause vermissen lasse,^[164] oder in seinen Forderungen nicht weit genug gehe.^[165]

Musk forderte bereits 2017 eine gewisse Regulierung der KI-Entwicklung. Laut NPR sei er „natürlich nicht begeistert“ darüber, eine staatliche Kontrolle zu befürworten, die sich auf seine eigene Branche auswirken könnte, aber er glaube, dass die Risiken eines gänzlich unbeaufsichtigtem Fortschreitens zu hoch seien: „Normalerweise werden Regulierungen so eingerichtet, dass es, sobald ein paar schlimme Dinge passieren, einen öffentlichen Aufschrei gibt, und viele Jahre vergehen bis eine Regulierungsbehörde eingerichtet wird, um diese Branche zu regulieren. Das dauert ewig. In der Vergangenheit war das zwar schlecht, aber nicht etwas, das eine wesentliche Gefahr für die Existenz der Zivilisation darstellte.“ Musk erklärt, dass der erste Schritt darin bestehe, der Regierung „Einblick“ in den aktuellen Stand der Forschung zu gewähren, und warnt: „Sobald das Bewusstsein dafür da ist, werden die Menschen extrem ängstlich sein… und das zurecht.“ Daraufhin äußerten sich Politiker skeptisch über die Sinnhaftigkeit der Regulierung einer Technologie, die sich noch in der Entwicklung befindet.^{[166][167][168]}

Im Jahr 2021 zogen die Vereinten Nationen (UN) ein Verbot tödlicher autonomer Waffen in Erwägung, konnten aber keinen Konsens erzielen.^[169] Im Juli 2023 hielt der UN-Sicherheitsrat zum ersten Mal eine Sitzung ab, um die Risiken und Gefahren der KI für den Weltfrieden und die Stabilität sowie die potenziellen Vorteile der Technologie zu erörtern.^[170][171] Generalsekretär António Guterres sprach sich für die Einrichtung einer globalen Aufsichtsbehörde aus, um die aufkommende Technologie zu überwachen, und sagte: „Generative KI hat ein enormes Potenzial in großem Maßstab Gutes und Böses herbeizuführen. Ihre Entwickler haben selbst davor gewarnt, dass weitaus größere, potenziell katastrophale und existenzielle Risiken vor uns liegen.“^[15] Auf der Ratssitzung erklärte Russland, es sei der Ansicht, dass die Risiken der KI zu wenig bekannt seien, um als Bedrohung für die globale Stabilität angesehen zu werden. China sprach sich gegen eine strenge globale Regulierung aus, da die Länder in der Lage sein sollten, ihre eigenen Regeln zu entwickeln, lehnte indes aber den Einsatz von KI zur „Schaffung einer militärischen Vormachtstellung oder zur Untergrabung der Souveränität eines Landes“ ab.^[170]

Die Regulierung bewusster AGIs konzentriert sich auf ihre Integration in die bestehende menschliche Gesellschaft und kann in Überlegungen zu ihrer rechtlichen Stellung und zu ihren moralischen Rechten unterteilt werden.^[172] Die Kontrolle von KI-gestützten Waffensystemen wird voraussichtlich die Institutionalisierung neuer internationaler Normen erfordern, die in wirksamen technischen Vorgaben verankert sind, kombiniert mit aktiver Überwachung und informeller Diplomatie durch Expertengemeinschaften sowie einem rechtlichen und politischen Prüfverfahren.^[173][174]

Im Juli 2023 erhielt die US-Regierung freiwillige Sicherheitszusagen von großen Technologieunternehmen, darunter OpenAI, Amazon, Google, Meta und Microsoft. Die Unternehmen erklärten sich bereit, Sicherheitsvorkehrungen zu treffen – darunter die Überwachung durch Dritte und Sicherheitstests durch unabhängige Experten – um Bedenken im Zusammenhang mit den potenziellen Risiken und gesellschaftlichen Schäden von KI auszuräumen. Die Parteien bezeichneten die Verpflichtungen als Übergangslösung bis zur Ausarbeitung konkreter Regulierungen. Amba Kak, geschäftsführender Direktor des AI Now Institute, sagte: „Eine Beratung mit Unternehmensakteuren hinter verschlossenen Türen, die zu freiwilligen Schutzmaßnahmen führt, reicht nicht aus“, und forderte öffentliche Beratungen und Regelungen, die über das freiwillig von Unternehmen akzeptierte Maß hinausgehen.^[175][176]

• Appeal to Possibility
• AI-Alignment
• Lethal Autonomous Weapon System
• Roboterethik

• Russell, Stuart J., Norvig, Peter: Artificial intelligence: A modern approach (4. Ausgabe). Pearson, 2020, ISBN 978-1-292-40113-3.
• Russell, Stuart J.: Human compatible: Artificial intelligence and the problem of control, Penguin Random House, 2020, ISBN 978-0-525-55863-7.
• Christian, Brian: The alignment problem: Machine learning and human values, W. W. Norton & Company, 2020, ISBN 978-0-393-86833-3.
• Bostrom, Nick: Superintelligenz: Szenarien einer kommenden Revolution (5. Auflage), Suhrkamp Wissenschaft Hauptprogramm, 2023, ISBN 978-3-518-58684-6. (Originaltitel: „Superintelligence: Paths, Dangers, Strategies.“, deutsche Übersetzung)
• Tegmark, Max: Leben 3.0: Mensch sein im Zeitalter Künstlicher Intelligenz, Ullstein Taschenbuch, 2019, ISBN 978-3-548-37796-4. (Originaltitel: „Life 3.0: Being Human in the Age of Artificial Intelligence“, deutsche Übersetzung)

• Mdr.de: Künstliche Intelligenz - Experten warnen vor Vernichtung der Menschheit
• CMS Deutschland Blog: KI-Verordnung – Verbotene Praktiken und Hochrisiko-KI-Systeme
• Zdf.de (Die Spur): Mit KI zur Biowaffe - wie real ist die Gefahr?
• Zdf.de: Experten warnen vor Vernichtung durch KI