Logistische Regression für mehrere Klassen

Ich habe das Modell für die logistische Regression für mehrere Klassen erhalten, das von gegeben ist

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

Dabei ist k die Anzahl der Klassen. Theta ist der zu schätzende Parameter. j ist die j-te Klasse. Xi sind die Trainingsdaten

Eine Sache, die ich nicht verstanden habe, ist, der Nenner Teil das Modell normalisiert hat. Ich meine, dadurch bleibt die Wahrscheinlichkeit zwischen 0 und 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Ich bin an logistische Regression gewöhnt

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

Eigentlich bin ich mit der Nomalisierungssache verwechselt. In diesem Fall, da es sich um eine Sigmoid-Funktion handelt, darf der Wert niemals kleiner als 0 oder größer als 1 sein. Aber ich bin im Fall mehrerer Klassen verwirrt. Wieso ist es so?

Dies ist meine Referenz https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html . Ich denke, es hätte sein sollen, zu normalisieren

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial user34790
quelle

Hinweis: Bei der logistischen Regression müssen implizit zwei Wahrscheinlichkeiten behandelt werden: die Wahrscheinlichkeit und die Wahrscheinlichkeit . Diese Wahrscheinlichkeiten müssen .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

whuber

Basierend auf einigen Ihrer anderen Beiträge wissen Sie, wie Sie Gleichungen markieren. Die Textgleichungen hier sind schwer zu lesen und die (Indizes?) Sind verwirrend - können Sie sie mit markieren ?

L A T E X

$\LaTeX$

Makro

Da Sie hier so viele Fragen stellen, halten Sie bitte inne und lesen Sie unsere FAQ, wie Sie gute Fragen stellen können. Lesen Sie die Hilfe zum Markup, damit Sie Ihre Gleichungen lesbar machen können.

T E X

$\TeX$

whuber

Ich habe die Gleichung bearbeitet. @ Whuber Eigentlich bin ich verwirrt in Bezug auf die logistische Regression mehrerer Klassen, nicht die binäre. Ich bin besorgt, wie kommt es, wenn ich alle Elemente im Donominator hinzufüge, die Wahrscheinlichkeit normalisiert

user34790

@ user34790, wenn Sie jeden Term durch die Summe teilen, summieren sich die einzelnen Klassenwahrscheinlichkeiten zu 1. Was ist übrigens ?

X^{(i)}

$X^{(i)}$

Makro

Antworten:

Ihre Formel ist falsch (die Obergrenze der Summe). Bei der logistischen Regression mit Klassen ( ) erstellen Sie grundsätzlich binäre logistische Regressionsmodelle, bei denen Sie eine Klasse als Referenz oder Drehpunkt auswählen. Normalerweise wird die letzte Klasse als Referenz ausgewählt. Somit kann die Wahrscheinlichkeit der Referenzklasse berechnet werden durchDie allgemeine Form der Wahrscheinlichkeit istAls Klasse gilt Ihre Referenz und damit $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ Am Ende erhalten Sie die folgende Formel für alle :

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

sebp
quelle

Beachten Sie, dass die Auswahl der Referenzklasse nicht wichtig ist, wenn Sie die maximale Wahrscheinlichkeit verwenden. Wenn Sie jedoch eine bestrafte maximale Wahrscheinlichkeit oder eine Bayes'sche Folgerung durchführen, kann es oft nützlicher sein, die Wahrscheinlichkeiten überparametrisiert zu lassen und die Strafe einen Weg zur Behandlung der Überparametrisierung wählen zu lassen. Dies liegt daran, dass die meisten Straffunktionen / Prioritäten in Bezug auf die Wahl der Referenzklasse nicht unveränderlich sind

Wahrscheinlichkeitslogik

@sebp, es scheint, dass ein bisschen verwirrend bin ; Es wäre besser, für die Beobachtung und einen anderen Buchstaben für die Iteration der Kategorie .

i

$i$

i

$i$

k

$k$

Garej

Ich denke, Sie werden durch einen Tippfehler verwirrt: Ihr sollte in der ersten Gleichung . Die Einsen, die Sie im logistischen Fall sehen, sind tatsächlich s, z. B. wenn es ein th . $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

Angenommen, . Beachten Sie nun, dass Sie von der letzten Formulierung zur logistischen Regressionsversion wie Ersetzen Sie für mehrere Klassen einfach den Nenner in den ersten beiden Größen durch eine Summe über potenzierten linearen Prädiktoren. $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

Konjugatprior
quelle