In dem Artikel Die Einschränkungen des Deep Learning in konträren Umgebungen wird untersucht, wie neuronale Netzwerke von einem Angreifer beschädigt werden können, der den Datensatz manipulieren kann, mit dem das neuronale Netzwerk trainiert. Die Autoren experimentieren mit einem neuronalen Netzwerk, das handgeschriebene Ziffern lesen soll, und untergraben dessen Lesefähigkeit, indem sie die Abtastwerte handgeschriebener Ziffern verzerren, mit denen das neuronale Netzwerk trainiert wird.
Ich mache mir Sorgen, dass böswillige Schauspieler versuchen könnten, KI zu hacken. Beispielsweise
- Autonome Fahrzeuge zum Narren halten, um Stoppschilder oder Geschwindigkeitsbegrenzungen falsch zu interpretieren.
- Umgehen der Gesichtserkennung, z. B. für Geldautomaten.
- Spam-Filter umgehen.
- Täuschungsanalyse von Filmkritiken, Hotels usw.
- Umgehen von Anomalieerkennungsmodulen.
- Gefälschte Sprachbefehle.
- Fehlklassifizierung maschineller Lernvorhersagen.
Welcher gegnerische Effekt könnte die Welt stören? Wie können wir das verhindern?
Antworten:
Aus meiner Sicht ist KI aus zwei Sicherheitsperspektiven anfällig:
Die klassische Methode, um Programmfehler auszunutzen, um auf dem Computer, auf dem die KI ausgeführt wird, Code auszuführen oder Daten zu extrahieren.
Trick durch das Äquivalent von optischen KI-Täuschungen für die bestimmte Datenform, für die das System entwickelt wurde.
Die erste muss wie jede andere Software gemildert werden. Ich bin mir nicht sicher, ob KI in dieser Hinsicht anfälliger ist als andere Software. Ich würde eher glauben, dass die Komplexität das Risiko vielleicht ein wenig erhöht.
Die zweite wird wahrscheinlich am besten dadurch gemildert, dass das System, wie in einigen anderen Antworten erwähnt, sorgfältig verfeinert wird, aber auch dadurch, dass das System kontextsensitiver wird. Viele kontroverse Techniken beruhen darauf, dass der Input im Vakuum bewertet wird.
quelle
Programmierer gegen Programmierer
Es ist ein "Unendlichkeitskrieg": Programmierer gegen Programmierer. Alles kann hackbar sein. Prävention ist an den Kenntnisstand des Sicherheitsfachmanns und des Programmierers für Anwendungssicherheit geknüpft.
Beispiel: Es gibt verschiedene Möglichkeiten, einen Benutzer zu identifizieren, der versucht, die von Sentiment Analysis generierten Metriken durcheinander zu bringen, aber es gibt auch Möglichkeiten, diese Schritte zu umgehen. Es ist ein ziemlich langweiliger Kampf.
Agent gegen Agent
Ein interessanter Punkt, den @DukeZhou ansprach, ist die Entwicklung dieses Krieges, an dem zwei künstliche Intelligenz (Agenten) beteiligt waren. In diesem Fall ist der Kampf einer der kenntnisreichsten. Welches ist das am besten ausgebildete Modell, wissen Sie?
Künstliche Intelligenz oder künstliche Superintelligenz übertreffen jedoch die Fähigkeit, den Menschen zu umgehen, um eine Perfektion im Bereich der Verwundbarkeit zu erreichen. Es ist, als ob das Wissen über alle Hacks bis zum heutigen Tag bereits bei diesem Agenten vorhanden war und er begann, neue Wege zu entwickeln, um sein eigenes System zu umgehen und Schutz zu entwickeln. Komplex, richtig?
Ich glaube, es ist schwer, eine KI zu haben, die denkt: "Wird der Mensch ein Foto verwenden, anstatt sein Gesicht zu identifizieren?"
Wie können wir das verhindern?
Die Maschine wird immer von einem Menschen überwacht und ist dennoch nicht zu 100% wirksam. Dabei wird die Möglichkeit außer Acht gelassen, dass ein Agent sein eigenes Modell allein verbessern kann.
Fazit
Ich denke, das Szenario funktioniert folgendermaßen: Ein Programmierer versucht, die Überprüfungen einer KI zu umgehen, und der IA-Entwickler, der sich durch Protokolle und Tests Wissen aneignet, versucht, ein intelligenteres und sichereres Modell zu erstellen, um das Risiko eines Ausfalls zu verringern.
quelle
Es gibt mehrere Arbeiten zur AI-Verifikation. Automatische Verifizierer können die Robustheitseigenschaften neuronaler Netze nachweisen. Dies bedeutet, dass, wenn der Eingang X des NN nicht mehr gestört wird als bei einem gegebenen Grenzwert ε (in einigen Metriken, z. B. L2), das NN die gleiche Antwort darauf gibt.
Solche Überprüfungen werden durchgeführt von:
Dieser Ansatz kann dazu beitragen, die Robustheitseigenschaften neuronaler Netze zu überprüfen. Der nächste Schritt ist der Aufbau eines solchen neuronalen Netzwerks, das Robustheit erfordert. Einige der oben genannten Artikel enthalten auch Methoden, wie man das macht.
Es gibt verschiedene Techniken, um die Robustheit neuronaler Netze zu verbessern:
gegnerisches Training (siehe zB A. Kurakin et al., ICLR 2017 )
Defensive Destillation (siehe zB N. Papernot et al., SSP 2016 )
MMSTV-Verteidigung ( Maudry et al., ICLR 2018 ).
Zumindest der letzte kann NN nachweislich robuster machen. Weitere Literatur finden Sie hier .
quelle
Ich glaube es ist, kein System ist sicher, aber ich bin mir nicht sicher, ob ich das nach 20-30 Jahren KI-Entwicklung / Evolution immer noch sagen kann. Wie auch immer, es gibt Artikel, in denen Menschen AI (Computer Vision) vortäuschen.
https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google
https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms
quelle
Kehren Sie Ihre Frage für einen Moment um und überlegen Sie:
Letztendlich ist Software Software und es wird immer Bugs und Sicherheitsprobleme geben. KIs sind allen Problemen ausgesetzt, denen KI-fremde Software ausgesetzt ist, da KI ihr keine Immunität verleiht.
Bei AI-spezifischen Manipulationen besteht für AI die Gefahr, dass falsche Informationen eingegeben werden. Im Gegensatz zu den meisten Programmen wird die Funktionalität von AI durch die Daten bestimmt, die es verbraucht.
Als Beispiel aus der Praxis hat Microsoft vor einigen Jahren einen KI-Chatbot namens Tay erstellt. Es dauerte weniger als 24 Stunden, bis die Leute von Twitter sagten: "Wir werden eine Mauer bauen, und Mexiko wird dafür bezahlen."
(Das Bild stammt aus dem unten verlinkten Verge-Artikel. Ich beanspruche keine Gutschrift dafür.)
Und das ist nur die Spitze des Eisbergs.
Einige Artikel über Tay:
Stellen Sie sich vor, dass dies kein Chat-Bot war. Stellen Sie sich vor, dass dies ein wichtiges Stück KI aus einer Zukunft war, in der KI für Dinge wie das Nichttöten der Insassen eines Autos (dh eines selbstfahrenden Autos) oder das Nichttöten eines Patienten verantwortlich ist der Operationstisch (dh irgendeine Art von medizinischer Hilfsausrüstung).
Zugegeben, man würde hoffen, dass solche KIs besser gegen solche Bedrohungen abgesichert sind, aber wenn man annimmt, dass jemand einen Weg gefunden hat, solche KI-Massen an falschen Informationen zu füttern, ohne bemerkt zu werden (schließlich hinterlassen die besten Hacker keine Spur), könnte das wirklich bedeuten der Unterschied zwischen Leben und Tod.
Stellen Sie sich am Beispiel eines selbstfahrenden Autos vor, ob falsche Daten dazu führen könnten, dass das Auto den Eindruck erweckt, dass es auf einer Autobahn einen Nothalt machen muss. Eine der Anwendungen für die medizinische KI sind Entscheidungen über Leben oder Tod in der Notaufnahme. Stellen Sie sich vor, ein Hacker könnte die Waage zugunsten einer falschen Entscheidung kippen.
Letztendlich hängt das Ausmaß des Risikos davon ab, wie abhängig Menschen von KI werden. Wenn Menschen beispielsweise das Urteil einer KI fällen und es niemals in Frage stellen würden, würden sie sich jeder Art von Manipulation öffnen. Wenn sie jedoch die Analyse der KI nur als einen Teil des Puzzles verwenden, wird es einfacher, zu erkennen, wenn eine KI falsch ist, sei es durch zufällige oder böswillige Mittel.
Glauben Sie im Falle eines medizinischen Entscheidungsträgers nicht nur der KI, führen Sie körperliche Tests durch und holen Sie sich auch einige menschliche Meinungen. Wenn zwei Ärzte mit der KI nicht einverstanden sind, werfen Sie die Diagnose der KI aus.
Im Falle eines Autos besteht eine Möglichkeit darin, mehrere redundante Systeme zu haben, die im Wesentlichen darüber abstimmen müssen, was zu tun ist. Wenn ein Auto mehrere KIs auf separaten Systemen hätte, die darüber abstimmen müssten, welche Maßnahmen er ergreifen soll, müsste ein Hacker mehr als nur eine KI ausschalten, um die Kontrolle zu erlangen oder eine Pattsituation zu verursachen. Wichtig ist, dass, wenn die AIs auf verschiedenen Systemen ausgeführt werden, die gleiche Ausnutzung auf einem anderen System nicht durchgeführt werden kann, was die Arbeitslast des Hackers weiter erhöht.
quelle
Ich stimme Akio zu, dass kein System völlig sicher ist, aber KI-Systeme sind im Vergleich zu den alten Systemen weniger anfällig für Angriffe, da sie sich ständig verbessern können.
Mit der Zeit werden mehr Leute auf dem Feld sein und neue Ideen einbringen, und die Hardware wird sich verbessern, so dass sie eine "starke KI" sind.
quelle
Ist künstliche Intelligenz anfällig für Hacking?
Hinweis; Wenn Sie sagen, dass KI anfällig ist, dann bin ich mit Ihnen in dieser Aussage nicht einverstanden. Künstliche Intelligenz ist in drei Kategorien oder Phasen unterteilt, die wir durchlaufen sollen, dh.
künstliche enge Intelligenz
künstliche allgemeine Intelligenz
künstliche Superintelligenz
Daher nach Ihrer Aussage; "Ich mache mir Sorgen, dass böswillige Schauspieler versuchen könnten, KI zu hacken ..."
Anhand der Beispiele in Ihrem Nachrichtentext befinden wir uns auf der Ebene der künstlichen engen Intelligenz, auf der ein menschlicher Hacker seinen / bösartigen Code verdrehen kann, um auf dieser Ebene in solche Anwendungen einzudringen Intelligenz; Dann kann ein Mensch keinesfalls in ein superintelligentes Softwareprogramm oder einen superintelligenten High-Tech-Agenten eindringen oder ihn hacken. Zum Beispiel; Wenn ein menschlicher Hacker eine Sache nach der anderen tut, gibt es nichts, was eine künstliche Intelligenz daran hindert, ihren Fokus zu teilen und gleichzeitig viele Mitarbeiter zu beschäftigen, ist es schwierig, eine Vermutung anzustellen, die genau so funktioniert
für Ihre Information
Stellen Sie sich vor, Sie leben in einer neuen Gesellschaft, die High-Tech ist. Schauen Sie sich die Cyber Grand Challenge an
Wenn Sie dieses Ereignis verpasst haben, tut es mir leid.
quelle
Intelligenz jeglicher Art ist anfällig für Hackerangriffe, egal ob DNA-basiert oder künstlich. Zuerst definieren wir das Hacken. In diesem Zusammenhang ist Hacking die Ausnutzung von Schwachstellen, um bestimmte Ziele zu erreichen. Dazu gehören Status, finanzieller Gewinn, Unterbrechung des Geschäfts oder der Regierung, Informationen, die zur Erpressung verwendet werden können, die Oberhand bei einem Geschäft oder einer Wahl oder eine andere Form der Kontrolle oder Manipulation.
Hier sind Beispiele für Hirnhacker-Strategien und ihre gemeinsamen Ziele. Jedes von diesen hat ein digitales Systemäquivalent.
Einige sind besorgt über die sogenannte Singularität, bei der intelligente Software-Entitäten in der Lage sein könnten, Menschen und ihre sozialen Strukturen zu hacken, um ihre eigenen Ziele zu erreichen. Dass Menschen die intelligenten Agenten anderer Menschen hacken könnten, ist eine weitere offensichtliche Möglichkeit. Ich denke nicht, dass Trainingsdaten der einzige Angriffspunkt sind.
Die in der Frage aufgeführten Möglichkeiten verdienen eine Überlegung, aber dies ist meine Version der Liste.
Die einzige Möglichkeit, dies zu verhindern, besteht darin, auf ein globales Auslöschungsereignis zu warten. Möglicherweise gibt es jedoch Möglichkeiten, dies zu mildern. Genau wie das Programm satan geschrieben wurde, um Schwachstellen in UNIX-Systemen zu finden, können intelligente Systeme entwickelt werden, um Schwachstellen in anderen intelligenten Systemen zu finden. Natürlich können KI-Systeme so wie Programmiermodelle und konventionelle Informationssysteme mit Blick auf die Sicherheit entworfen werden und die Sicherheitslücken vom ersten Tag an auf das vernünftige Maß reduziert werden.
Wenn Sie dem Informationspfad eines Systems folgen und überlegen, wie Sie das Signal an einem beliebigen Punkt des Pfades lesen oder schreiben können, können Sie sich präventiv vor diesen Zugriffspunkten schützen. Es ist klar, dass in dem in dieser Frage genannten Fall die sorgfältige Erfassung von Daten zur Verwendung für Schulungen von entscheidender Bedeutung ist. Außerdem muss sichergestellt werden, dass nicht autorisierten Mitarbeitern kein physischer Zugriff gewährt wird Gegenmaßnahmen, die sich aus diesen Bedenken und Möglichkeiten ergeben.
quelle
Es gibt viele Möglichkeiten, eine KI zu hacken. Als ich ein Kind war, dachte ich mir, wie man einen Schachcomputer schlägt. Ich habe immer das gleiche Muster befolgt, sobald Sie gelernt haben, dass Sie es ausnutzen können. Der weltbeste Hacker ist 4 Jahre alt und möchte, dass er verschiedene Dinge probiert, bis er bei seinen Eltern ein Muster festlegt. Wie auch immer, lassen Sie ein Ai die Muster einer KI lernen und bei einer gegebenen Kombination können Sie das Ergebnis abschätzen. Es gibt auch nur einfache Fehler oder Hintertüren im Code, entweder absichtlich oder zufällig. Es besteht auch die Möglichkeit, dass sich die KI selbst hackt. Man nennt es schlechtes Benehmen, erinnere dich wieder an das kleine Kind ...
Übrigens ist es ganz einfach, KI immer ausfallsicher zu machen ... etwas, das die Leute vergessen.
quelle