Erklärung der Formel für den Median, der dem Ursprung von N Proben aus der Einheitskugel am nächsten liegt

In Elements of Statistical Learning wird ein Problem eingeführt, um Probleme mit k-nn in hochdimensionalen Räumen hervorzuheben. Es gibt $N$ Datenpunkte, die gleichmäßig in einer $p$ dimensionalen Einheitskugel verteilt sind.

Der mittlere Abstand vom Ursprung zum nächsten Datenpunkt wird durch den Ausdruck angegeben:

d (p, N) = {(1 - {(\frac{1}{2})}^{\frac{1}{N}})}^{\frac{1}{p}}

$d(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p}$

Wenn $N=1$ , zerfällt die Formel auf den halben Radius des Balls, und ich kann sehen, wie sich der nächstgelegene Punkt der Grenze als nähert $p \rightarrow \infty$ , wodurch die Intuition hinter knn in hohen Dimensionen zusammenbricht. Aber ich kann nicht verstehen, warum die Formel von N abhängt. Könnte jemand bitte klarstellen?

Das Buch geht auch weiter auf dieses Problem ein, indem es erklärt: "... die Vorhersage ist in der Nähe der Ränder der Trainingsprobe viel schwieriger. Man muss von benachbarten Probenpunkten extrapolieren, anstatt zwischen ihnen zu interpolieren." Dies scheint eine tiefgreifende Aussage zu sein, aber ich kann nicht verstehen, was es bedeutet. Könnte jemand umformulieren?

self-study proof k-nearest-neighbour user64773
quelle

Sie müssen Ihre angezeigte Gleichung ein wenig bearbeiten. Ist das

Exponent gilt nur für diese

im Zähler, so wie er jetzt aussieht, oder wollten Sie, dass er für die gesamte

\frac{1}{N}

$\frac 1N$

1

$1$

\frac{1}{2}

$\frac 12$

Dilip Sarwate

Es würde helfen, die "Hypersphäre" (die in

eine Mannigfaltigkeit der Dimension

) von der "Einheitskugel" (die die Dimension

) zu unterscheiden. Die Hypersphäre ist die Grenze des Balls. Wenn, wie Ihr Titel sagt, alle Punkte aus der Hypersphäre abgetastet werden , haben sie per Definition alle den Abstand

vom Ursprung, der mittlere Abstand

und alle sind gleich nahe am Ursprung.

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

p

$p$

1

$1$

1

$1$

whuber

@DilipSarwate Wird auf die gesamte

angewendet

. In dem Buch gibt es ein Beispiel, in dem

also

\frac{1}{2}

$\frac{1}{2}$

N = 500, p = 10

$N=500, p=10$

d (p, N) \approx 0.52

$d(p, N) \approx 0.52$

user64773

Antworten:

Das Volumen eines dimensionalen Hyperballs mit dem Radius hat ein Volumen proportional zu . $p$ $r$ $r^p$

Der Anteil des Volumens, der größer als ein Abstand vom Ursprung ist, ist also $kr$ . $\frac{r^p-(kr)^p}{r^p}=1-k^p$

Die Wahrscheinlichkeit , dass alle zufällig ausgewählte Punkte sind mehr als ein Abstand vom Ursprung . Um den Medianabstand zum nächsten zufälligen Punkt zu erhalten, setzen Sie diese Wahrscheinlichkeit auf $N$ $kr$ $\left(1-k^p\right)^N$ . Also $\frac12$

{(1 - k^{p})}^{N} = \frac{1}{2}

$\left(1-k^p\right)^N=\tfrac12$

⟹ k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p} .

$\implies k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}.$

Intuitiv macht dies Sinn: Je mehr zufällige Punkte vorhanden sind, desto näher erwarten Sie, dass der Punkt dem Ursprung am nächsten liegt. Sie sollten also erwarten, dass eine abnehmende Funktion von . Hier ist eine abnehmende Funktion von , also $k$ $N$ $2^{1/N}$ $N$ ist eine zunehmende Funktion vonund damit $\tfrac1{2^{1/N}}$ $N$ ist eine abnehmende Funktion vonebenso wie seinete Wurzel. $1-\tfrac1{2^{1/N}}$ $N$ $p$

Henry
quelle

Ah, schöne Sichtweise. Könnten Sie das Zitat in meiner zweiten Frage neu interpretieren?

user64773

Ich vermute, es könnte darauf hindeuten, dass in hohen Dimensionen zu prognostizierende Punkte tatsächlich weit von den Trainingsdaten entfernt sind, als ob sie sich am Rand einer Kugel befinden. Sie interpolieren also nicht wirklich, sondern extrapolieren, und die Unsicherheiten sind viel größer. Aber ich weiß es nicht wirklich.

Henry

Ich verstehe es nicht - ich verstehe, warum dieser Ausdruck die Wahrscheinlichkeit ist, dass alle Punkte weiter als kr sind, aber warum ergibt das Setzen dieser Wahrscheinlichkeit auf 1/2 den Medianabstand?

Ihadanny

@ihadanny: der Wert

gibt den Bruchteil des Radius an, bei dem die Wahrscheinlichkeit, dass alle

Punkte weiter entfernt sind,

beträgt

k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p}

$k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}$

N

$N$

, und wenn die Wahrscheinlichkeit, dass mindestens ein Punkt näher liegt,

beträgt

\frac{1}{2}

$\frac12$

, also ist

der Median der Verteilung der Entfernung des nächsten Punktes.

1 - \frac{1}{2} = \frac{1}{2}

$1-\frac12=\frac12$

k r

$kr$

Henry

Definition des Medians, die Hälfte ist größer und die Hälfte ist kleiner.

Grant Izmirlian

Und jetzt ohne Handbewegung

Für jede Folge von iid rvs ist wobei die gemeinsame CDF ist
$P (min_{1 \leq i \leq N} Y_{i} > y) = (1 - F (y))^{N},$ $P( \min_{1\le i\le N} Y_i > y ) = (1-F(y))^N,$ $F$
Wenn also iid in der Einheitskugel in Dimensionen gleichmäßig verteilt hat , dann ist wobei ist die gemeinsame CDF der Entfernungen, $N$ $X_i$ $p$
$P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - F (r))^{N},$ $P( \min_{1\le i\le N} ||X_i|| > r ) = (1-F(r))^N,$ $F$ . Was ist schließlich die CDF für einen gleichmäßig verteilten Punkt in der Einheitskugel in ? Die Wahrscheinlichkeit, dass der Punkt in der Kugel mit dem Radius r innerhalb der Kugel mit dem Einheitsradius liegt, entspricht dem Volumenverhältnis: $||X_i||, i=1,2,\ldots,N$ $F$ $R^p$

F (r) = P (| | X_{i} | | \leq r) = C r^{p} / (C 1^{p}) = r^{p}

$F(r) = P ( ||X_i|| \le r ) = C r^p/( C 1^p) = r^p$

Also die Lösung zu

1 / 2 = P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N}

$1/2 = P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N$

ist

r = (1 - (1 / 2)^{1 / N})^{1 / p} .

$r = (1 - (1/2)^{1/N})^{1/p}.$

$N$ $p$

$k$ $R^p$

Grant Izmirlian
quelle

So prägnant aber in Worten:

$N$ $p$ $r$ $N^{th}$ $r$ $r$ $r$ $r^p$ . Wir können jetzt Ausdruck [1] als schreiben

P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N} .

$P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N.$

$1/2$ $r$

Grant Izmirlian
quelle