Vorteile von Jeffries Matusita Entfernung

Laut einem Artikel, den ich lese, wird häufig der Abstand zwischen Jeffries und Matusita verwendet. Aber ich konnte nicht viele Informationen darüber finden, außer der folgenden Formel

JMD (x, y) = $\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2}$

Es ähnelt dem euklidischen Abstand mit Ausnahme der Quadratwurzel

E (x, y) = $\sqrt[2]{\sum(x_i-y_i)^2}$

Die JM-Entfernung soll hinsichtlich der Klassifizierung zuverlässiger sein als die euklidische Entfernung. Kann jemand erklären, warum dieser Unterschied die JM-Distanz verbessert?

classification k-nearest-neighbour euclidean romy_ngo
quelle

Ich kann keine maßgebliche Referenz finden, die diese Formel für die Jeffries-Matusita-Distanz verwendet. Die Formeln, die ich finde, basieren auf Kovarianzmatrizen für zwei Klassen und scheinen keine Beziehung zu der hier angegebenen zu haben, aber es scheint, dass zwei (oder mehr) verschiedene Dinge unter diesem Namen bekannt sind. Könnten Sie eine Referenz oder (noch besser) einen Link angeben? BTW, sind und zählt durch Zufall? (Wenn ja, gibt es eine natürliche Interpretation Ihrer Formel.)

x_{i}

$x_i$

y_{i}

$y_i$

whuber

@whuber: Vielleicht stehen und für und

x

$x$

y

$y$

p (x)

$p(x)$

q (x)

$q(x)$

user603

@ user603 Ja, ich denke du hast es. Nun werden die Zusammenhänge zu KL-Divergenzen und der Battacharyya-Maßnahme deutlich.

whuber

Einige wesentliche Unterschiede, die einer längeren Erklärung vorausgehen, sind folgende:

Entscheidend: Der Jeffries-Matusita-Abstand gilt eher für Verteilungen als für Vektoren im Allgemeinen.
Die oben angegebene JM-Distanzformel gilt nur für Vektoren, die diskrete Wahrscheinlichkeitsverteilungen darstellen (dh Vektoren, die sich zu 1 summieren).
Im Gegensatz zum euklidischen Abstand kann der JM-Abstand auf alle Verteilungen verallgemeinert werden, für die der Bhattacharrya-Abstand formuliert werden kann.
Die JM-Distanz hat über die Bhattacharrya-Distanz eine probabilistische Interpretation.

Die Jeffries-Matusita-Distanz, die in der Fernerkundungsliteratur besonders beliebt zu sein scheint, ist eine Transformation der Bhattacharrya-Distanz (ein beliebtes Maß für die Unähnlichkeit zwischen zwei Verteilungen, hier als ) aus dem Bereich auf den festen Bereich : $b_{p,q}$ $[0, \inf)$ $[0, \sqrt{2}]$

J M_{p, q} = \sqrt{2 (1 - \exp (- b (p, q))}

$JM_{p,q}=\sqrt{2(1-\exp(-b(p,q))}$

Ein praktischer Vorteil des JM-Abstands besteht laut diesem Artikel darin, dass diese Maßnahme "dazu neigt, hohe Trennbarkeitswerte zu unterdrücken, während niedrige Trennbarkeitswerte überbetont werden".

Der Bhattacharrya-Abstand misst die Unähnlichkeit zweier Verteilungen und im folgenden abstrakten kontinuierlichen Sinne: Wenn die Verteilungen und werden durch Histogramme erfasst, die durch Einheitslängenvektoren dargestellt werden (wobei das te Element die normalisierte Anzahl für das te von Bins ist). Dies wird: Und folglich ist der JM-Abstand für die beiden Histogramme: Welche, wobei zu beachten ist, dass für normalisierte Histogramme $p$ $q$

b (p, q) = - \ln \int \sqrt{p (x) q (x)} d x

$b(p,q)=-\ln\int{\sqrt{p(x)q(x)}}dx$

p

$p$

q

$q$

i

$i$

i

$i$

N

$N$

b (p, q) = - \ln \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}}

$b(p,q)=-\ln\sum_{i=1}^{N}\sqrt{p_i\cdot q_i}$

J M_{p, q} = \sqrt{2 (1 - \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}})}

$JM_{p,q}=\sqrt{2\left(1-\sum_{i=1}^{N}{\sqrt{p_i\cdot q_i}}\right)}$

\sum_{i} p_{i} = 1

$\sum_{i}{p_i}=1$ ist dieselbe wie die oben angegebene Formel:

J M_{p, q} = \sqrt{\sum_{i = 1}^{N} {(\sqrt{p_{i}} - \sqrt{q_{i}})}^{2}} = \sqrt{\sum_{i = 1}^{N} (p_{i} - 2 \sqrt{p_{i}} \sqrt{q_{i}} + q_{i})} = \sqrt{2 (1 - \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}})}

$JM_{p,q}=\sqrt{\sum_{i=1}^{N}{\left(\sqrt{p_i} - \sqrt{q_i}\right)^2}}=\sqrt{\sum_{i=1}^{N}{\left(p_i -2 \sqrt{p_i}\sqrt{q_i} + q_i \right)}}=\sqrt{2\left(1-\sum_{i=1}^{N}{\sqrt{p_i\cdot q_i}}\right)}$

rroowwllaanndd
quelle

+1 Vielen Dank, dass Sie sich gemeldet haben und sich sehr bemüht haben, die Situation zu klären.

whuber

Vorteile von Jeffries Matusita Entfernung

Antworten: