Lineare Diskriminanzanalyse für

Ich studiere 'Einführung in das statistische Lernen' von James, Witten, Hastie, Tibshirani.

Auf Seite 139 ihres Buches begannen sie mit der Einführung des Bayes-Theorems . ist keine mathematische Konstante, sondern bezeichnet die vorherige Wahrscheinlichkeit. In dieser Gleichung ist nichts seltsam. $p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$ $\pi$

Das Buch behauptet, dass es eine Schätzung für erhalten möchte, die es in die oben angegebene Gleichung kann. Um zu schätzen , wird davon , dass dies normal ist. In der eindimensionalen Einstellung ist , wobei und der Mittelwert und die Varianz für die te Klasse sind. Es wird angenommen, dass . (Ich begann von der letzten Aussage verwirrt zu werden.) $f_k(x)$ $f_k(x)$ $f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$ $\mu_k$ $\sigma^2_k$ $k$ $\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$

Anstecken in , haben Sie diese ziemlich chaotisch Gleichung (1): $f_k$ $p_x$

p_{x} (k) = \frac{π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{k})^{2})}{\sum_{l = 1}^{K} π_{l} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{l})^{2})} .

$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$

Auch hier keine Überraschungen, da es sich nur um eine Substitution handelt.

Der Bayes-Klassifikator beinhaltet das Zuweisen einer Beobachtung zu der Klasse, für die Gleichung (1) die größte ist. Wenn man das Protokoll von Gleichung (1) nimmt und die Terme neu anordnet, ist es nicht schwer zu zeigen, dass dies der Zuordnung der Beobachtung zu der Klasse entspricht, für die das Folgende die größte ist:

δ_{k} (x) = x \cdot \frac{μ_{k}}{σ^{2}} - \frac{μ_{k}^{2}}{2 σ^{2}} + \log (π_{k})

$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$

Frage: Ich verstehe nicht, woher das kommt und was es bedeutet. Ich habe versucht, das Gleichungsprotokoll zu erstellen, und es wird nicht so. Nehmen wir die Ableitung hier irgendwo hin, da dies die größte Beobachtung ist?

self-study classification cgo
quelle

Antworten:

Sie können Gleichung (1) bis zu einer Proportionalitätskonstante ausdrücken.

p_{x} (k) \propto π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2})

$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$

Also, wenn Sie dann Protokolle nehmen

\log p_{x} (k) \propto \log π_{k} - \log (\sqrt{2 π} σ) - \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2}

$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$

Dabei geht erneut in die Proportionalitätskonstante, da dies nicht von abhängt . Erweitern Sie dann den quadratischen Term und Sie sind da (beachten Sie, dass das Erweitern der Klammer einen weiteren Term ergibt, der in verschwindet ). $- \log (\sqrt{2\pi} \sigma)$ $k$ $\propto$

Andy
quelle

Ich habe gelacht, als ich deine Antwort gelesen habe. So einfach ist das?! Brillant! Darf ich wissen, was die Menge bedeutet (in )? Mein Hintergrund in Statistiken ist schlecht, aber ich kann der Mathematik folgen.

δ_{k} (x)

$\delta_k(x)$

cgo

Ja, das ist alles was dazu gehört. heißt die lineare Diskriminanzfunktion. Es ist nur eine andere Art, die hintere Wahrscheinlichkeit zu schreiben, dass eine Beobachtung aufgrund ihres charakteristischen zur Klasse gehört . Die Auswahl der Klasse mit der höchsten posterioren Wahrscheinlichkeit aus der Bayes-Regel entspricht der Auswahl der Klasse mit dem höchsten Wert für die LDA. Sie können , um die Bayes'sche Entscheidungsgrenze zu berechnen (die einen Schwellenwert für die Klassifizierung einer Beobachtung als oder ).

δ_{k} (x)

$\delta_k (x)$

k

$k$

x

$x$

δ_{k} (x) = δ_{l} (x)

$\delta_k(x) = \delta_l(x)$

k

$k$

l

$l$

Andy