Welche Art der Datennormalisierung sollte mit KNN verwendet werden?

Für k-NN würde ich vorschlagen, die Daten zwischen und normalisieren . $0$ $1$

k-NN verwendet den euklidischen Abstand als Mittel zum Vergleichen von Beispielen. Berechnung des Abstandes zwischen zwei Punkten und , wobei ist der Wert des ten Merkmals von : $x_1 = (f_1^1, f_1^2, ..., f_1^M)$ $x_2 = (f_2^1, f_2^2, ..., f_2^M)$ $f_1^i$ $i$ $x_1$

d (x_{1}, x_{2}) = \sqrt{(f_{1}^{1} - f_{2}^{1})^{2} + (f_{1}^{2} - f_{2}^{2})^{2} + . . . + (f_{1}^{M} - f_{2}^{M})^{2}}

$d(x_1, x_2) = \sqrt{(f_1^1 - f_2^1)^2 + (f_1^2 - f_2^2)^2 + ... + (f_1^M - f_2^M)^2}$

Damit alle Merkmale bei der Berechnung der Entfernung gleich wichtig sind, müssen die Merkmale den gleichen Wertebereich haben. Dies ist nur durch Normalisierung erreichbar.

Wenn sie nicht normalisiert waren und beispielsweise das Merkmal einen Wertebereich in ) hatte, während einen Wertebereich in . Wenn der Abstand berechnet wird , würde der zweite Term ist mal wichtig ist als die erste, führende k-NN mehr auf das zweite Merkmal als die erste zu verlassen. Durch die Normalisierung wird sichergestellt, dass alle Features demselben Wertebereich zugeordnet werden. $f^1$ $[0, 1$ $f^2$ $[1, 10)$ $10$

Die Standardisierung hat zwar viele nützliche Eigenschaften, kann jedoch nicht sicherstellen, dass die Funktionen demselben Bereich zugeordnet sind. Während die Standardisierung für andere Klassifizierer am besten geeignet ist, ist dies für k-NN oder einen anderen entfernungsbasierten Klassifizierer nicht der Fall.

Djib2011
quelle

Ist Ihre Antwort dieselbe, wenn ich anstelle der euklidischen Entfernung eine andere Entfernung verwendet habe (zum Beispiel die Entfernung nach Manhattan oder eine andere Entfernung, auch nur eine gebrochene Entfernung)? Auch wenn der Bereich der Variablen ungefähr nahe beieinander liegt.

Jeza

Ja, ich habe nur die euklidische Entfernung als Beispiel gezeigt, aber alle Entfernungsmetriken leiden unter derselben Sache. Wenn die Bereiche nahe beieinander liegen, würde dies die Berechnung der Metrik nicht so stark beeinflussen , würde dies aber dennoch tun. Wenn zum Beispiel und , wäre immer noch wichtiger als . Eine Sache, die ich vergessen habe zu erwähnen, war, dass Standardisierung offensichtlich viel besser ist, als keine Feature-Skalierung durchzuführen. es ist einfach schlimmer als die Normalisierung.

f^{1} \in [0, 1)

$f^1 \in [0, 1)$

f^{2} \in [0, 1.2)

$f^2 \in [0, 1.2)$

f^{2}

$f^2$

20 %

$20\%$

f^{1}

$f^1$

Djib2011

Ah ich sehe. "es ist einfach schlimmer als normalisierung"!?

Jeza

Welche Art der Datennormalisierung sollte mit KNN verwendet werden?

Antworten: