Ist künstliche Intelligenz anfällig für Hacking?

27

In dem Artikel Die Einschränkungen des Deep Learning in konträren Umgebungen wird untersucht, wie neuronale Netzwerke von einem Angreifer beschädigt werden können, der den Datensatz manipulieren kann, mit dem das neuronale Netzwerk trainiert. Die Autoren experimentieren mit einem neuronalen Netzwerk, das handgeschriebene Ziffern lesen soll, und untergraben dessen Lesefähigkeit, indem sie die Abtastwerte handgeschriebener Ziffern verzerren, mit denen das neuronale Netzwerk trainiert wird.

Ich mache mir Sorgen, dass böswillige Schauspieler versuchen könnten, KI zu hacken. Beispielsweise

  • Autonome Fahrzeuge zum Narren halten, um Stoppschilder oder Geschwindigkeitsbegrenzungen falsch zu interpretieren.
  • Umgehen der Gesichtserkennung, z. B. für Geldautomaten.
  • Spam-Filter umgehen.
  • Täuschungsanalyse von Filmkritiken, Hotels usw.
  • Umgehen von Anomalieerkennungsmodulen.
  • Gefälschte Sprachbefehle.
  • Fehlklassifizierung maschineller Lernvorhersagen.

Welcher gegnerische Effekt könnte die Welt stören? Wie können wir das verhindern?

Surya Sg
quelle
6
Bedenken Sie, dass die menschliche Intelligenz anfällig für Hacking ist
Gaius
Interessant. Interessieren Sie sich für "Risikomodelle für kontradiktorische Einstellungen" oder für etwas, das einer herkömmlichen Cybersicherheitsantwort näher kommt, sich aber dennoch direkt mit KI befasst? Die besten Wünsche.
Tautologische Enthüllungen

Antworten:

19

Aus meiner Sicht ist KI aus zwei Sicherheitsperspektiven anfällig:

  1. Die klassische Methode, um Programmfehler auszunutzen, um auf dem Computer, auf dem die KI ausgeführt wird, Code auszuführen oder Daten zu extrahieren.

  2. Trick durch das Äquivalent von optischen KI-Täuschungen für die bestimmte Datenform, für die das System entwickelt wurde.

Die erste muss wie jede andere Software gemildert werden. Ich bin mir nicht sicher, ob KI in dieser Hinsicht anfälliger ist als andere Software. Ich würde eher glauben, dass die Komplexität das Risiko vielleicht ein wenig erhöht.

Die zweite wird wahrscheinlich am besten dadurch gemildert, dass das System, wie in einigen anderen Antworten erwähnt, sorgfältig verfeinert wird, aber auch dadurch, dass das System kontextsensitiver wird. Viele kontroverse Techniken beruhen darauf, dass der Input im Vakuum bewertet wird.

Christopher Griffith
quelle
1
Die Aufteilung zwischen Code-Schwachstellen und Verwendungsschwachstellen ist gut. Die Code-Schwachstellen in AI sind jedoch normalerweise winzig. Die Komplexität von KI liegt in den Daten, egal ob es sich um Knotengewichte in einem neuronalen Netzwerk oder Bäume in einer zufälligen Gesamtstruktur handelt. Es gibt nur ein kleines Stück Code, um die KI zu füttern, und das Hauptrisiko besteht darin, dass sie nicht überfüttert wird - ein klassisches Pufferüberlaufrisiko, das durch Techniken des späten 20. Jahrhunderts leicht gemindert werden kann.
MSalters
@MSalters Ich denke, es ist schwierig, eine allgemeine Schlussfolgerung zu ziehen, da die Codekomplexität zwischen verschiedenen Arten von KI-Agenten sehr unterschiedlich sein kann (ich denke, Ihr Kommentar ist für neuronale Netzwerke weitgehend zutreffend). Obwohl die Daten und Manipulationen wahrscheinlich die größere Angriffsfläche darstellen, wäre es unklug, dieselben Angriffe zu ignorieren, die in der Vergangenheit die Ausführung von Remotecode über kompromittierte Bilddateien ermöglichten und die Fehler in Bildbetrachtungsanwendungen ausnutzten. Der Vektor sind die Daten, die übergeben werden, aber das Verhalten fällt immer noch unter den Header der Code-Sicherheitsanfälligkeit, denke ich.
Christopher Griffith
7

Programmierer gegen Programmierer

Es ist ein "Unendlichkeitskrieg": Programmierer gegen Programmierer. Alles kann hackbar sein. Prävention ist an den Kenntnisstand des Sicherheitsfachmanns und des Programmierers für Anwendungssicherheit geknüpft.

Beispiel: Es gibt verschiedene Möglichkeiten, einen Benutzer zu identifizieren, der versucht, die von Sentiment Analysis generierten Metriken durcheinander zu bringen, aber es gibt auch Möglichkeiten, diese Schritte zu umgehen. Es ist ein ziemlich langweiliger Kampf.

Agent gegen Agent

Ein interessanter Punkt, den @DukeZhou ansprach, ist die Entwicklung dieses Krieges, an dem zwei künstliche Intelligenz (Agenten) beteiligt waren. In diesem Fall ist der Kampf einer der kenntnisreichsten. Welches ist das am besten ausgebildete Modell, wissen Sie?

Künstliche Intelligenz oder künstliche Superintelligenz übertreffen jedoch die Fähigkeit, den Menschen zu umgehen, um eine Perfektion im Bereich der Verwundbarkeit zu erreichen. Es ist, als ob das Wissen über alle Hacks bis zum heutigen Tag bereits bei diesem Agenten vorhanden war und er begann, neue Wege zu entwickeln, um sein eigenes System zu umgehen und Schutz zu entwickeln. Komplex, richtig?

Ich glaube, es ist schwer, eine KI zu haben, die denkt: "Wird der Mensch ein Foto verwenden, anstatt sein Gesicht zu identifizieren?"

Wie können wir das verhindern?

Die Maschine wird immer von einem Menschen überwacht und ist dennoch nicht zu 100% wirksam. Dabei wird die Möglichkeit außer Acht gelassen, dass ein Agent sein eigenes Modell allein verbessern kann.

Fazit

Ich denke, das Szenario funktioniert folgendermaßen: Ein Programmierer versucht, die Überprüfungen einer KI zu umgehen, und der IA-Entwickler, der sich durch Protokolle und Tests Wissen aneignet, versucht, ein intelligenteres und sichereres Modell zu erstellen, um das Risiko eines Ausfalls zu verringern.

Guilherme IA
quelle
3
Gute Antwort. (imo, sollte die akzeptierte Antwort sein, aber Sie müssen einige Unterstützung oder Links bereitstellen.) Unabhängig davon ist Ihre Logik korrekt, obwohl ich denke, dass dies über Programmer vs. Programmer zu Agent vs. Agent hinausgehen wird, wenn die neuen Algorithmen zunehmen Kultiviertheit, und unternehmen Sie diese Strategien ohne menschliche Aufforderung.
DukeZhou
1
Aktualisiert! Guter Punkt @DukeZhou
Guilherme IA
6

Wie können wir das verhindern?

Es gibt mehrere Arbeiten zur AI-Verifikation. Automatische Verifizierer können die Robustheitseigenschaften neuronaler Netze nachweisen. Dies bedeutet, dass, wenn der Eingang X des NN nicht mehr gestört wird als bei einem gegebenen Grenzwert ε (in einigen Metriken, z. B. L2), das NN die gleiche Antwort darauf gibt.

Solche Überprüfungen werden durchgeführt von:

Dieser Ansatz kann dazu beitragen, die Robustheitseigenschaften neuronaler Netze zu überprüfen. Der nächste Schritt ist der Aufbau eines solchen neuronalen Netzwerks, das Robustheit erfordert. Einige der oben genannten Artikel enthalten auch Methoden, wie man das macht.

Es gibt verschiedene Techniken, um die Robustheit neuronaler Netze zu verbessern:

Zumindest der letzte kann NN nachweislich robuster machen. Weitere Literatur finden Sie hier .

Ilya Palachev
quelle
2
Das klingt nach einer unmöglichen Behauptung ... es sei denn, es handelt sich um bestimmte Eingänge X und nicht um allgemeine Eingänge X? In welchem ​​Fall scheint es so gut wie nichts über die Hackbarkeit zu sagen, da Eingaben nicht auf Störungen derjenigen im Training beschränkt sein müssen?
Mehrdad
1
@Mehrdad: Wahrscheinlich ist es probabilistisch erreichbar, wenn der Eingaberaum so strukturiert ist, dass Sie ihn zufällig abtasten können. Das heißt, Sie können wahrscheinlich feststellen, dass für 95% der möglichen Eingaben 95% der Störungen, die kleiner als ε sind, die Klassenbezeichnung nicht beeinflussen. Dies entspricht der Feststellung, dass die Grenze zwischen Ausgabeklassen im Eingaberaum glatt ist oder dass der größte Teil des Eingaberaums nicht in der Nähe einer Klassengrenze liegt. Offensichtlich muss ein Teil des Eingaberaums in der Nähe einer Klassengrenze liegen.
MSalters
Ich bin mir nicht sicher, ob dies in dem in der Veröffentlichung beschriebenen "gegnerischen" Fall zutreffen würde: Dort wird (IIRC) ein rückpropagierter Gradient zum gesamten Bild hinzugefügt, sodass die Änderung an der vollständigen Eingabe ziemlich groß sein kann - auch wenn Die Veränderung für jedes einzelne Pixel ist kaum spürbar.
Niki
@MSalters: Ich denke schon. Aber dann scheint , dass es ein gutes Stück zu entwerten , wenn Sie tatsächlich die Bilder zeigen , die auf einer Klasse Grenze sind , sollten eigentlich sein für eine Klasse Grenze ...
Mehrdad
Der Satz "Der nächste Schritt ist der Aufbau eines solchen neuronalen Netzwerks, das Robustheit erfordert" wird derzeit untersucht. Im Allgemeinen ist es sehr schwierig, das NN-Problem der Nicht-Robustheit zu beseitigen. Es ist jedoch möglich, die Robustheit durch gegnerisches Training (siehe z . B. A. Kurakin et al., ICLR 2017 ), defensive Destillation (siehe z . B. N. Papernot et al., SSP 2016 ), MMSTV-Verteidigung ( Maudry et al., ICLR 2018 ) zu verbessern ). Zumindest der letzte kann NN nachweislich robuster machen.
Ilya Palachev
4

Ich glaube es ist, kein System ist sicher, aber ich bin mir nicht sicher, ob ich das nach 20-30 Jahren KI-Entwicklung / Evolution immer noch sagen kann. Wie auch immer, es gibt Artikel, in denen Menschen AI (Computer Vision) vortäuschen.

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
quelle
4

Ist künstliche Intelligenz anfällig für Hacking?

Kehren Sie Ihre Frage für einen Moment um und überlegen Sie:

Was würde KI im Vergleich zu jeder anderen Art von Software zu einem geringeren Hacking-Risiko machen?

Letztendlich ist Software Software und es wird immer Bugs und Sicherheitsprobleme geben. KIs sind allen Problemen ausgesetzt, denen KI-fremde Software ausgesetzt ist, da KI ihr keine Immunität verleiht.

Bei AI-spezifischen Manipulationen besteht für AI die Gefahr, dass falsche Informationen eingegeben werden. Im Gegensatz zu den meisten Programmen wird die Funktionalität von AI durch die Daten bestimmt, die es verbraucht.

Als Beispiel aus der Praxis hat Microsoft vor einigen Jahren einen KI-Chatbot namens Tay erstellt. Es dauerte weniger als 24 Stunden, bis die Leute von Twitter sagten: "Wir werden eine Mauer bauen, und Mexiko wird dafür bezahlen."

Wir werden eine Mauer bauen und Mexiko wird dafür bezahlen

(Das Bild stammt aus dem unten verlinkten Verge-Artikel. Ich beanspruche keine Gutschrift dafür.)

Und das ist nur die Spitze des Eisbergs.

Einige Artikel über Tay:

Stellen Sie sich vor, dass dies kein Chat-Bot war. Stellen Sie sich vor, dass dies ein wichtiges Stück KI aus einer Zukunft war, in der KI für Dinge wie das Nichttöten der Insassen eines Autos (dh eines selbstfahrenden Autos) oder das Nichttöten eines Patienten verantwortlich ist der Operationstisch (dh irgendeine Art von medizinischer Hilfsausrüstung).

Zugegeben, man würde hoffen, dass solche KIs besser gegen solche Bedrohungen abgesichert sind, aber wenn man annimmt, dass jemand einen Weg gefunden hat, solche KI-Massen an falschen Informationen zu füttern, ohne bemerkt zu werden (schließlich hinterlassen die besten Hacker keine Spur), könnte das wirklich bedeuten der Unterschied zwischen Leben und Tod.

Stellen Sie sich am Beispiel eines selbstfahrenden Autos vor, ob falsche Daten dazu führen könnten, dass das Auto den Eindruck erweckt, dass es auf einer Autobahn einen Nothalt machen muss. Eine der Anwendungen für die medizinische KI sind Entscheidungen über Leben oder Tod in der Notaufnahme. Stellen Sie sich vor, ein Hacker könnte die Waage zugunsten einer falschen Entscheidung kippen.

Wie können wir das verhindern?

Letztendlich hängt das Ausmaß des Risikos davon ab, wie abhängig Menschen von KI werden. Wenn Menschen beispielsweise das Urteil einer KI fällen und es niemals in Frage stellen würden, würden sie sich jeder Art von Manipulation öffnen. Wenn sie jedoch die Analyse der KI nur als einen Teil des Puzzles verwenden, wird es einfacher, zu erkennen, wenn eine KI falsch ist, sei es durch zufällige oder böswillige Mittel.

Glauben Sie im Falle eines medizinischen Entscheidungsträgers nicht nur der KI, führen Sie körperliche Tests durch und holen Sie sich auch einige menschliche Meinungen. Wenn zwei Ärzte mit der KI nicht einverstanden sind, werfen Sie die Diagnose der KI aus.

Im Falle eines Autos besteht eine Möglichkeit darin, mehrere redundante Systeme zu haben, die im Wesentlichen darüber abstimmen müssen, was zu tun ist. Wenn ein Auto mehrere KIs auf separaten Systemen hätte, die darüber abstimmen müssten, welche Maßnahmen er ergreifen soll, müsste ein Hacker mehr als nur eine KI ausschalten, um die Kontrolle zu erlangen oder eine Pattsituation zu verursachen. Wichtig ist, dass, wenn die AIs auf verschiedenen Systemen ausgeführt werden, die gleiche Ausnutzung auf einem anderen System nicht durchgeführt werden kann, was die Arbeitslast des Hackers weiter erhöht.

Pharap
quelle
1
Ich mag die Idee, mehrere separate KI-Systeme zu haben, die als Abschwächungstechnik eine Einigung erzielen müssen. In diesem Fall müsste man allerdings sicher sein, dass die von ihnen verwendeten Abstimmungsmechanismen nicht dazu geeignet sind, eine Entscheidung vorzutäuschen.
Christopher Griffith
@ChristopherGriffith Stimmt, das ist ein Risiko. Im Falle des Autos besteht die beste Möglichkeit, dies zu verringern, darin, das System so zu gestalten, dass ein Angreifer physischen Zugriff benötigt, um es zu manipulieren, und es schwer zu erreichen, sodass die Person in das Auto einbrechen muss, um darauf zuzugreifen. Ein System offline zu halten, ist im Allgemeinen eine gute Gegenmaßnahme gegen Hacking, auch wenn dies nicht immer ideal ist.
Pharap
1

Ich stimme Akio zu, dass kein System völlig sicher ist, aber KI-Systeme sind im Vergleich zu den alten Systemen weniger anfällig für Angriffe, da sie sich ständig verbessern können.

Mit der Zeit werden mehr Leute auf dem Feld sein und neue Ideen einbringen, und die Hardware wird sich verbessern, so dass sie eine "starke KI" sind.

Simbarashe Timothy Motsi
quelle
1

Ist künstliche Intelligenz anfällig für Hacking?

Hinweis; Wenn Sie sagen, dass KI anfällig ist, dann bin ich mit Ihnen in dieser Aussage nicht einverstanden. Künstliche Intelligenz ist in drei Kategorien oder Phasen unterteilt, die wir durchlaufen sollen, dh.

  • künstliche enge Intelligenz

  • künstliche allgemeine Intelligenz

  • künstliche Superintelligenz

Daher nach Ihrer Aussage; "Ich mache mir Sorgen, dass böswillige Schauspieler versuchen könnten, KI zu hacken ..."

Anhand der Beispiele in Ihrem Nachrichtentext befinden wir uns auf der Ebene der künstlichen engen Intelligenz, auf der ein menschlicher Hacker seinen / bösartigen Code verdrehen kann, um auf dieser Ebene in solche Anwendungen einzudringen Intelligenz; Dann kann ein Mensch keinesfalls in ein superintelligentes Softwareprogramm oder einen superintelligenten High-Tech-Agenten eindringen oder ihn hacken. Zum Beispiel; Wenn ein menschlicher Hacker eine Sache nach der anderen tut, gibt es nichts, was eine künstliche Intelligenz daran hindert, ihren Fokus zu teilen und gleichzeitig viele Mitarbeiter zu beschäftigen, ist es schwierig, eine Vermutung anzustellen, die genau so funktioniert

für Ihre Information

Lassen Sie sich nicht von den Aussagen der Medien zur KI im Allgemeinen aufgreifen, nur weil sie nicht wissen, dass das große Ereignis darin besteht, dass neue Arten im Wettbewerb mit Menschen stehen

Stellen Sie sich vor, Sie leben in einer neuen Gesellschaft, die High-Tech ist. Schauen Sie sich die Cyber ​​Grand Challenge an

Wenn Sie dieses Ereignis verpasst haben, tut es mir leid.

Quintumnia
quelle
Ich würde mir vorstellen, dass es in einer Welt mit künstlich superintelligenten Kreationen immer noch Möglichkeiten gibt, diese Systeme mit hochspezialisierten Tools zu hacken, mit denen generalisierte KI-Systeme bei bestimmten Aufgaben einfach übertroffen werden können.
krowe2
1

Intelligenz jeglicher Art ist anfällig für Hackerangriffe, egal ob DNA-basiert oder künstlich. Zuerst definieren wir das Hacken. In diesem Zusammenhang ist Hacking die Ausnutzung von Schwachstellen, um bestimmte Ziele zu erreichen. Dazu gehören Status, finanzieller Gewinn, Unterbrechung des Geschäfts oder der Regierung, Informationen, die zur Erpressung verwendet werden können, die Oberhand bei einem Geschäft oder einer Wahl oder eine andere Form der Kontrolle oder Manipulation.

Hier sind Beispiele für Hirnhacker-Strategien und ihre gemeinsamen Ziele. Jedes von diesen hat ein digitales Systemäquivalent.

  • Regierungspropaganda - vorhersehbare Einhaltung
  • Betrug - Geld
  • Spoofing - humorvolle öffentliche Reaktion
  • Rollenspiel - Vertrauen gewinnen, um Zugang zu erlangen oder zu manipulieren
  • Schmerzzentren - Sucht ausnutzen, um das Einkommen zu erhöhen

Einige sind besorgt über die sogenannte Singularität, bei der intelligente Software-Entitäten in der Lage sein könnten, Menschen und ihre sozialen Strukturen zu hacken, um ihre eigenen Ziele zu erreichen. Dass Menschen die intelligenten Agenten anderer Menschen hacken könnten, ist eine weitere offensichtliche Möglichkeit. Ich denke nicht, dass Trainingsdaten der einzige Angriffspunkt sind.

  • Parametermatrizen können schwer erkennbar überschrieben werden.
  • Verstärkungssignale können manipuliert werden.
  • Bekannte Fehlertaschen bei Eingabepermutationen können ausgenutzt werden.
  • Die deterministische Natur digitaler Systeme kann von anderen vertieften Lernenden ausgenutzt werden, indem das trainierte System dupliziert und Schwachstellen offline gesucht werden, bevor sie über ein Netzwerk ausgeführt werden

Die in der Frage aufgeführten Möglichkeiten verdienen eine Überlegung, aber dies ist meine Version der Liste.

  • Mord durch AV-Fehlfunktion oder gefälschte Identifikationssysteme in Apotheken oder Krankenhäusern
  • Weiterleitung großer Mengen des versendeten Produkts an einen Empfänger, der diese nicht bezahlt hat
  • Sozialer Völkermord durch Marginalisierung bestimmter Personengruppen

Die einzige Möglichkeit, dies zu verhindern, besteht darin, auf ein globales Auslöschungsereignis zu warten. Möglicherweise gibt es jedoch Möglichkeiten, dies zu mildern. Genau wie das Programm satan geschrieben wurde, um Schwachstellen in UNIX-Systemen zu finden, können intelligente Systeme entwickelt werden, um Schwachstellen in anderen intelligenten Systemen zu finden. Natürlich können KI-Systeme so wie Programmiermodelle und konventionelle Informationssysteme mit Blick auf die Sicherheit entworfen werden und die Sicherheitslücken vom ersten Tag an auf das vernünftige Maß reduziert werden.

Wenn Sie dem Informationspfad eines Systems folgen und überlegen, wie Sie das Signal an einem beliebigen Punkt des Pfades lesen oder schreiben können, können Sie sich präventiv vor diesen Zugriffspunkten schützen. Es ist klar, dass in dem in dieser Frage genannten Fall die sorgfältige Erfassung von Daten zur Verwendung für Schulungen von entscheidender Bedeutung ist. Außerdem muss sichergestellt werden, dass nicht autorisierten Mitarbeitern kein physischer Zugriff gewährt wird Gegenmaßnahmen, die sich aus diesen Bedenken und Möglichkeiten ergeben.

Douglas Daseeco
quelle
0

Es gibt viele Möglichkeiten, eine KI zu hacken. Als ich ein Kind war, dachte ich mir, wie man einen Schachcomputer schlägt. Ich habe immer das gleiche Muster befolgt, sobald Sie gelernt haben, dass Sie es ausnutzen können. Der weltbeste Hacker ist 4 Jahre alt und möchte, dass er verschiedene Dinge probiert, bis er bei seinen Eltern ein Muster festlegt. Wie auch immer, lassen Sie ein Ai die Muster einer KI lernen und bei einer gegebenen Kombination können Sie das Ergebnis abschätzen. Es gibt auch nur einfache Fehler oder Hintertüren im Code, entweder absichtlich oder zufällig. Es besteht auch die Möglichkeit, dass sich die KI selbst hackt. Man nennt es schlechtes Benehmen, erinnere dich wieder an das kleine Kind ...

Übrigens ist es ganz einfach, KI immer ausfallsicher zu machen ... etwas, das die Leute vergessen.

Tony Lester
quelle