Wie berechnet man Fisher-Kriterium-Gewichte?

Ich studiere Mustererkennung und maschinelles Lernen und bin auf die folgende Frage gestoßen.

Betrachten Sie ein Zweiklassen-Klassifizierungsproblem mit gleicher Wahrscheinlichkeit für die vorherige Klasse

$$P(D_1)=P(D_2)= \frac{1}{2}$$

und die Verteilung der Instanzen in den einzelnen Klassen von

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Wie berechnet man Fisher-Kriterium-Gewichte?

Update 2: Das berechnete Gewicht in meinem Buch ist: $W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$.

Update 3: Wie von @xeon angedeutet, sollte ich die Projektionslinie für die Fisher-Diskriminante bestimmen.

Update 4: Sei die Richtung der Projektionslinie, dann stellt die lineare Diskriminanzmethode von Fisher fest, dass das beste W dasjenige ist, für das die Kriteriumsfunktion maximiert ist. Die verbleibende Herausforderung besteht darin, wie wir den numerischen W- Vektor erhalten können.$W$$W$$W$

Nach dem Papier , das Sie verknüpfen (Mika et al., 1999) , müssen wir finden die der maximiert den so genannten generali Rayleighquotienten ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

wo für bedeutet und covariances C 1 , C 2 ,$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

Die Lösung kann durch Lösen des verallgemeinerten Eigenwertproblems indem zuerst die Eigenwerte λ durch Lösen von det ( S B - λ S W ) = 0 berechnet und dann nach dem Eigenvektor w gelöst werden . In Ihrem Fall S B - λ S W = ( 16 - 3 λ 16 16 16 - 2 λ )

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$ Die Determinante dieser 2x2-Matrix kann von Hand berechnet werden.

Der Eigenvektor mit dem größten Eigenwert maximiert den Rayleigh-Quotienten. Anstatt die Berechnungen von Hand durchzuführen , löste ich das verallgemeinerte Eigenwertproblem in Python mit scipy.linalg.eigund erhielt was sich von der Lösung unterscheidet, die Sie in Ihrem Buch gefunden haben. Unten habe ich die optimale Hyperebene des gefundenen Gewichtsvektors (schwarz) und die Hyerebene des in Ihrem Buch gefundenen Gewichtsvektors (rot) aufgetragen.

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Nach Duda et al. (Musterklassifizierung), die eine alternative Lösung zu @lucas bietet und in diesem Fall eine sehr einfach zu berechnende Lösung von Hand darstellt. (Hoffe, diese alternative Lösung hilft !! :))

In zwei Klassen LDA ist das Ziel:

$\frac{w^TS_Bw}{w^TS_Ww}$

$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

Die Lösung dieses verallgemeinerten Raleigh-Quotienten ist ein verallgemeinertes Eigenwertproblem.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Ref: Pattern Classification von Duda, Hart, Stork

$\mathbf{SOLUTION 2:}$

$S_Bw = \lambda S_Ww$

$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$, So eigen values are roots to polynomial $6\lambda^2 - 80\lambda$.

So $\lambda=$ 0 and 40/3 are the two solutions. For LDA, eigen vector corresponding to highest eigen value is the solution.

Solution to system of equation $(S_B - \lambda_i S_W)w_i = 0$ and $\lambda_i = 40/3$

which turns out to be $\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

Solution to the above system of equation is $\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$ which is same as previous solution.

Alternatively, we can say that $\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$ lies in the null space of $\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$.

For two class LDA, eigen vector with highest eigen value is the solution. In general, for C class LDA, the first C - 1 eigen vectors to highest C - 1 eigen values constitute the solution.

This video explains how to compute eigen vectors for simple eigen value problem. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Following is an example. http://www.sosmath.com/matrix/eigen2/eigen2.html

Multi-class LDA: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Calculating Null Space of a matrix: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix