Was bedeutet "Permutationsinvariante" im Kontext neuronaler Netze, die Bilderkennung durchführen?

Ich habe eine "permutationsinvariante" Version der MNIST-Ziffernerkennungsaufgabe gesehen. Was bedeutet es?

machine-learning neural-networks terminology conv-neural-network definition RockTheStar
quelle

Antworten:

Dies bezieht sich in diesem Zusammenhang auf die Tatsache, dass das Modell keine räumlichen Beziehungen zwischen den Merkmalen annimmt. ZB für mehrschichtiges Perzeptron können Sie die Pixel permutieren und die Leistung wäre gleich. Dies ist nicht der Fall für Faltungsnetzwerke, die Nachbarschaftsbeziehungen annehmen.

bayerj
quelle

Ja, das ist der verwirrende Teil. Sollte es keine räumliche Beziehung bei der Klassifizierung von Ziffern geben?

RockTheStar

MNIST wird häufig als Benchmark (oder Sanity Check) in neuronalen Netzen verwendet. Wenn Ihr Modell bei permutationsinvariantem MNIST einen Fehler von <1% aufweist, sind Sie auf dem Laufenden.

Bayerj

Ja, ich meine, gibt es nicht auch eine räumliche Beziehung in Ziffern? Wenn Sie die Ziffernpixel permutieren, ändert sich die Pixelreihenfolge, was sich wesentlich auf die Leistung auswirkt !?

RockTheStar

Nur wenn das Modell dies annimmt. mlps nicht tun, tun Convnets. Deshalb ist es etwas unfair, ein Convnet mit einem mlp in mnist zu vergleichen.

Bayerj

Aha! Ist die Leistung von mlps in einem mnist-Datensatz besser oder konvettiert?

RockTheStar

Eine Funktion eines Vektorarguments ist permutationsinvariant, wenn sich der Wert von nicht ändert, wenn wir die Komponenten von permutieren, dh zum Beispiel wenn : $f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

kjetil b halvorsen
quelle

Diese Antwort ist ein wenig irreführend, weil die in Maschine das Lernen Lernalgorithmus Permutation invariant ist oft, während die Funktion kehrt nicht.

Bayerj

@bayerj: Das ist eine interessante Information, aber ich kann nicht erkennen, dass sie die von mir angegebene Definition irreführend macht . Es ist eine korrekte Definition, aber in diesem Zusammenhang möglicherweise keine vollständige Antwort.

kjetil b halvorsen

Sie haben recht, die Definition ist korrekt. Dies gilt jedoch nicht für die Art und Weise, wie Sie es aufschreiben. Im Kontext der permutationsinvarianten MNIST, nach der das OP gefragt hat, treten Funktionen der Form, die Sie notieren, nicht auf.

Bayerj