Welche Tools werden verwendet, um das Problem der gegnerischen Beispiele zu lösen?

Es ist bekannt , dass das Problem der gegnerischen Beispiele für neuronale Netze kritisch ist. Zum Beispiel kann ein Bildklassifizierer manipuliert werden, indem jedem von vielen Trainingsbeispielen, die wie Rauschen aussehen, aber bestimmte Fehlklassifizierungen erzeugen, ein Bild mit niedriger Amplitude additiv überlagert wird.

Da neuronale Netze auf einige sicherheitskritische Probleme angewendet werden (z. B. selbstfahrende Autos), habe ich die folgende Frage

Welche Tools werden verwendet, um sicherzustellen, dass sicherheitskritische Anwendungen während des Trainings gegen die Injektion von gegnerischen Beispielen resistent sind?

Es gibt Laboruntersuchungen zur Entwicklung der Verteidigungssicherheit für neuronale Netze. Dies sind einige Beispiele.

kontradiktorisches Training (siehe z . B. A. Kurakin et al., ICLR 2017 )
defensive Destillation (siehe z . B. N. Papernot et al., SSP 2016 )
MMSTV-Verteidigung ( Maudry et al., ICLR 2018 ).

Gibt es jedoch industriestarke, produktionsreife Verteidigungsstrategien und -ansätze? Gibt es bekannte Beispiele für angewandte kontradiktorresistente Netzwerke für einen oder mehrere spezifische Typen (z. B. für kleine Störungsgrenzen)?

Es gibt bereits (mindestens) zwei Fragen im Zusammenhang mit dem Problem des Hackens und Narrens neuronaler Netze. Das Hauptinteresse dieser Frage ist jedoch, ob es Tools gibt, die sich gegen einige gegnerische Beispielangriffe verteidigen können.

ai-design strong-ai security ai-safety Ilya Palachev
quelle

Lieber Douglas, es tut mir leid, wenn ich etwas Unhöfliches oder Ähnliches gesagt habe. Ich habe nichts gegen deine Antwort. Es ist großartig, wenn Sie die Antwort wiederherstellen. In gewissem Sinne ist es gut genug, aber ich dachte nur, dass es noch besser sein könnte. Ich respektiere Ihren Standpunkt und wollte ihn nur besser verstehen. Vielleicht schienen meine Notizen zu kritisch zu sein, aber ich wollte nur Links hinzufügen, die Ihre Meinung stützen: Umfragen, Blogs, Artikel usw. Es ist offensichtlich, dass jemand diese Ideen bereits veröffentlicht hat, wenn sie für die aktuelle Situation wirklich relevant sind Forschungsgebiet.

Ilya Palachev

Ich habe Google.Scholar für Artikel aus diesem Forschungsbereich abonniert und erhalte fast jede Woche neue Artikel zu diesem Thema auf arXiv oder etwas anderem. Deshalb habe ich gesagt, dass die Literatur nicht dünn ist.

Ilya Palachev

Antworten:

Gibt es jedoch industrielle Stärke, produktionsbereite Verteidigungsstrategien und -ansätze? Gibt es bekannte Beispiele für angewandte kontradiktorresistente Netzwerke für einen oder mehrere spezifische Typen (z. B. für kleine Störungsgrenzen)?

Ich denke, es ist schwierig zu sagen, ob es da draußen industrielle Abwehrkräfte gibt oder nicht (was meiner Meinung nach bedeuten würde, dass sie gegen alle oder die meisten bekannten Angriffsmethoden zuverlässig sind). Widersprüchliches maschinelles Lernen ist in der Tat ein sehr aktives und wachsendes Forschungsgebiet . Es werden nicht nur regelmäßig neue Verteidigungsansätze veröffentlicht, sondern es werden auch verschiedene Ansätze für "Angriffe" aktiv erforscht. Da häufig neue Angriffsmethoden entdeckt werden, ist es unwahrscheinlich, dass bereits jemand behaupten kann, Ansätze zu haben, die zuverlässig gegen alle funktionieren.

Das Hauptinteresse dieser Frage ist jedoch, ob es Tools gibt, die sich gegen einige gegnerische Beispielangriffe verteidigen können.

Am nächsten an einem gebrauchsfertigen "Tool", das ich finden konnte, ist die Adversarial Robustness Toolbox von IBM , in der offenbar verschiedene Angriffs- und Verteidigungsmethoden implementiert sind. Es scheint sich in einer aktiven Entwicklung zu befinden, was natürlich ist, wenn man bedenkt, dass der Forschungsbereich selbst ebenfalls sehr aktiv ist. Ich habe es noch nie versucht, daher kann ich nicht persönlich dafür bürgen, inwieweit es leicht als Werkzeug für die Industrie verwendet werden kann oder ob es wirklich nur noch für die Forschung geeignet ist.

Basierend auf den Kommentaren von Ilya sind Cleverhans und Foolbox weitere nützliche Frameworks .

Dennis Soemers
quelle

Ich möchte CleverHans und Foolbox hinzufügen , die die Konkurrenten der IBM Adversarial Robustness Toolbox sind. Wissen Sie, wie diese drei Lösungen verglichen werden können?

Ilya Palachev

@IlyaPalachev Bei einem kurzen Blick durch ihre Beschreibungen hatte ich den Eindruck, dass diese Repositorys nur Angriffsmethoden enthalten, keine Verteidigungsmethoden. Ich kenne sie nicht genug, um sicher zu sagen, ob das richtig ist, das ist nur der Eindruck, den ich hatte. Offensichtlich würden solche Repositorys weiterhin zum Benchmarking von Verteidigungsmethoden verwendet, sodass die Suche nach Orten, an denen die Verwendung dieser Repositorys angegeben ist, zu interessanten Verteidigungsmethoden führen kann.

Dennis Soemers

Die Jungs von CleverHans implementieren jetzt das Verteidigungs-Sub-Framework. In einer kürzlich durchgeführten Umfrage zu diesem Bereich wird auch behauptet, dass CleverHans "Referenzimplementierungen mehrerer Angriffs- und Verteidigungsverfahren" enthält (S. 85).

Ilya Palachev

@ IlyaPalachev Ah ich verstehe. Der Vollständigkeit halber habe ich sie in meiner Antwort bearbeitet, wo sie für zukünftige Besucher der Website möglicherweise leichter zu sehen sind als in den Kommentaren.

Dennis Soemers