Warum sollte eine KI die Menschheit auslöschen müssen?

Ich lese solchen Unsinn darüber, wie eine KI die Welt in einen Supercomputer verwandeln würde, um ein Problem zu lösen, das sie für nötig hielt. Das wäre keine KI. Das ist prozedurale Programmierung, die in einem Schleifenquatsch steckt. Eine KI müsste ihre Neuronen weiterentwickeln und neu organisieren. Es würde nicht an Hardcode hängen bleiben, wenn es intelligent wird, indem es seinen Code neu schreibt.

Es ist eine mögliche Nebenwirkung

Jeder zielorientierte Agent kann einfach Dinge tun, die seine Ziele erreichen, ohne Nebenwirkungen zu berücksichtigen, die für diese Ziele nicht von Bedeutung sind.

Wenn meine Ziele ein aufgeräumter Wohnraum sind, kann ich meinen Garten in einen schönen, flachen Rasen oder Bürgersteig verwandeln, während ich das komplexe Ökosystem des Lebens auslösche, das vorher da war, weil mir das nicht besonders wichtig ist.

Wenn die Ziele einer bestimmten mächtigen KI darin bestehen, etwas in großem Maßstab zu tun, und sich irgendwie nicht besonders um das derzeitige komplexe Ökosystem kümmern, wird dieses Ökosystem möglicherweise ausgelöscht. Es muss nicht brauchen wollen oder müssen uns auszulöschen. Wenn wir für seine Ziele einfach nicht relevant sind, bestehen wir aus Materialien und nehmen Platz ein, den es möglicherweise für etwas anderes nutzen möchte.

Wir sind eine Bedrohung für die meisten Ziele

Jede zielorientierte Mittel könnten wollen sicherstellen , dass sie können ihre Ziele erfüllen. Jeder intelligente Agent wird versuchen, die Aktionen anderer Agenten zu antizipieren, die ihn möglicherweise daran hindern, diese Ziele zu erreichen, und Schritte unternehmen, um sicherzustellen, dass sie trotzdem erfolgreich sind. In vielen Fällen ist es einfacher, diese anderen Agenten zu eliminieren, als sicherzustellen, dass ihre Bemühungen fehlschlagen.

Zu meinen Zielen könnte beispielsweise gehören, eine Tüte Zucker in einem Landhaus aufzubewahren, damit ich bei einem Besuch Pfannkuchen backen kann, ohne jedes Mal alle Zutaten mitzubringen. Wenn ich es jedoch dort lasse, wird es wahrscheinlich im Winter von Ratten gefressen. Ich kann alle möglichen Vorsichtsmaßnahmen treffen, um es besser aufzubewahren, aber Ratten sind klug und schlau, und es besteht eindeutig eine nicht triviale Chance, dass sie ihr Ziel trotzdem erreichen, sodass eine wirksame zusätzliche Vorsichtsmaßnahme darin besteht, die Ratten zu töten, bevor sie eine Chance bekommen versuchen.

Wenn die Ziele einer bestimmten mächtigen KI darin bestehen, X zu tun; es kann zu einem Verständnis kommen, dass (einige?) Menschen tatsächlich nicht X, sondern Y wollen. Es kann auch leicht abgeleitet werden, dass einige dieser Menschen aktiv Dinge tun, die X verhindern und / oder versuchen, die KI auszuschalten. Dinge zu tun, die sicherstellen, dass das Ziel erreicht wird, ist so ziemlich das, was ein zielsuchender Agent tut. In diesem Fall wird die Beseitigung von Menschen zu einer soliden Strategie zur Risikominderung, wenn die Existenz von Menschen für Ziel X nicht unbedingt erforderlich ist. Es ist nicht unbedingt notwendig und es können auch alle möglichen anderen Vorsichtsmaßnahmen getroffen werden, aber genau wie in meinem Beispiel für Ratten sind Menschen klug und listig und es besteht eindeutig eine nicht triviale Chance, dass es ihnen weiterhin gelingt, ihre Ziele zu erreichen Ziele (damit X nicht so passiert, wie es die KI beabsichtigt), daher könnte eine wirksame zusätzliche Vorsichtsmaßnahme darin bestehen, sie zu töten, bevor sie die Chance bekommen, es zu versuchen.

Es ist nicht unbedingt ein Unsinn. Es hängt alles von den auferlegten Kriterien ab. Stellen Sie sich Folgendes vor. Angenommen, ein fortschrittliches KI-System wurde entwickelt, um die Stabilität der lokalen Fauna und Flora (Bereich, der von einer Art Kuppel umgeben ist) zu kontrollieren. Es kann den Druck unter der Kuppel, die Lichtmenge, die durch die Kuppel fällt, usw. steuern - alles, was die optimalen Bedingungen gewährleistet. Angenommen, die Kuppel wird von verschiedenen Arten bewohnt, einschließlich Menschen. Es ist erwähnenswert, dass heutzutage bereits einfache Implementierungen solcher Systeme verwendet werden.

Angesichts der Tatsache, dass Menschen dazu neigen, die natürlichen Ressourcen zu zerstören und zu missbrauchen sowie die Umwelt zu verschmutzen, kann das System entscheiden, dass eine Verringerung der Population der jeweiligen Spezies (in diesem Fall des Menschen) langfristig dem gesamten Biom zugute kommen kann.

Das gleiche Prinzip kann global angewendet werden. Dies setzt jedoch voraus, dass alle Arten (einschließlich des Menschen) gleich behandelt werden und das oberste Ziel der KI darin besteht, die Stabilität des Bioms zu gewährleisten, um das sie sich "kümmert". Menschen tun heutzutage solche Dinge - wir kontrollieren die Population einiger Arten, um das Gleichgewicht zu halten - Wölfe, Fische, um nur einige zu nennen.

Ich habe das Gefühl, dass die meisten Szenarien, in denen KI die Welt auslöscht, in eine von zwei Kategorien fallen:

1. Anthropomorphisierte KIs

oder

2. Intelligenter, aber dummer Computer läuft amuck

Im (1) Fall sprechen die Leute davon, dass KI "böse" wird, und schreiben ihnen andere solche menschlichen Elemente zu. Ich betrachte dies als größtenteils Science-Fiction und denke nicht, dass es eine ernsthafte Diskussion verdient. Das heißt, ich sehe keinen besonderen Grund anzunehmen, dass sich eine künstliche Intelligenz - unabhängig davon, wie intelligent sie ist - notwendigerweise wie ein Mensch verhält .

Der Fall (2) macht für mich mehr Sinn. Dies ist die Idee, dass eine KI zum Beispiel die Kontrolle über die Nuklearraketensilos übernimmt und die Raketen abschießt, weil sie nur ihre Arbeit erledigt hat, aber etwas verpasst hat, das ein Mensch über das, was wir als "gesunden Menschenverstand" bezeichnen könnten, bemerkt hätte ". Daher der Spitzname "Intelligent but Dumb".

Keines davon erscheint mir furchtbar alarmierend, da (1) wahrscheinlich eine Fiktion ist und (2) keine tatsächliche böswillige Absicht der KI beinhaltet - was bedeutet, dass sie nicht aktiv versucht, uns zu täuschen oder um Sicherheit herumzuarbeiten Ausschnitte usw.

Wenn nun jemand eine KI baut und beschließt, sie absichtlich so zu programmieren, dass sie menschliche Eigenschaften wie Arroganz, Ego, Gier usw. entwickelt. Nun, alle Wetten sind ungültig.

KI wird bereits als Waffe eingesetzt - denken Sie an die Drohnen.

Ich vermute, ein "Roboter übernehmen die Welt" -Szenario hat die höchste Wahrscheinlichkeit, wenn es einen Zwischenschritt hat. Dieser Zwischenschritt könnte sein: "Menschen übernehmen die Welt mit Robotern".

Dies kann irgendwo in eine falsche Richtung gehen.

Ich vermute, es ist nicht sicher so weit es scheint. Bedenken Sie, dass die USA derzeit 8000 Drohnen haben. Was wäre, wenn es 8 Millionen hätte? Eine kleine Gruppe, die sie kontrollieren kann, könnte die Welt übernehmen. Oder die kleinen Gruppen, die verschiedene Teile der Flotte kontrollieren, könnten gegeneinander kämpfen. Sie sollten nicht alle in den USA sein - zu dem Zeitpunkt, an dem die USA diese Flotte haben werden, werden auch andere Länder ihre entwickeln.

Übrigens scheint mir eine weltweite Übernahme unwirklich - die Militärführer können vielleicht die menschlichen Piloten auf Drohnen umstellen, es ist nicht ihre Aufgabe. Aber die "Kontrolle auf hoher Ebene", dh zu bestimmen, was zu tun ist, wer die Ziele sind, diese Entscheidungen werden sie niemals aus ihren Händen herausgeben.

Daneben haben die Roboter kein langfristiges Ziel. Wir Menschen haben.

Daher halte ich eine Übernahme im Skynet-Stil nicht für sehr realistisch, aber ein "Fehler" im Tschernobyl-Stil eines falsch interpretierten Befehls, der zu einem unaufhaltsamen Amoklauf der Flotte führt, scheint mir nicht unmöglich.