Warum werden beim maschinellen Lernen hochgestellte Zeichen anstelle von tiefgestellten Zeichen verwendet?

Ich nehme an Andrew Ngs Kurs über maschinelles Lernen durch Coursera teil . Für Gleichungen werden hochgestellte Zeichen anstelle von tiefgestellten Zeichen verwendet. Beispielsweise wird in der folgenden Gleichung anstelle von : $x^{(i)}$ $x_i$

$J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2}$

Anscheinend ist dies gängige Praxis. Meine Frage ist, warum man hochgestellte anstelle von tiefgestellten verwendet. Für die Potenzierung werden bereits hochgestellte Zeichen verwendet. Zugegeben, ich scheine in der Lage zu sein, zwischen hochgestellten und potenzierten Anwendungsfällen zu unterscheiden, indem ich darauf achte, ob Klammern vorhanden sind oder nicht, aber es scheint immer noch verwirrend.

machine-learning notation entpnerd
quelle

Ich vermute, es liegt vielleicht daran, dass einige Informatiker sich nicht mit mathematischer Standardnotation auskennen und sich deshalb ihre eigene Notation ausdenken. Versicherungsmathematiker tun dies manchmal auch und es ist frustrierend, wenn Sie zu komplizierteren Konzepten kommen.

Rocinante

Wird iüber die Datensatzgröße oder über die Elemente des Vektors indiziert x? Wenn erstere, ist das völlig normal. Wenn letzteres der Fall ist, ist das absolut nicht Standard. Und der Grund, warum der hochgestellte Index verwendet wird, ist, dass Sie manchmal mit dem Index auf das Element des Vektors verweisen möchten.

Rex Kerr

@rocinante lol nein, es liegt daran, dass bereits Indizes für die Indexierung von Vektoren verwendet werden.

Neil G

@rocinante Das ist ziemlich anmaßend. Was ist mit kontravarianten Vektoren / Einstein-Notation ?

Will Vousden

@rocinante Ich muss andere wiederholen, indem ich unterstreiche, dass Ihre Formulierung unglücklich ist. Wir alle neigen dazu, das Lokale und Vertraute als Standard zu betrachten.

Nick Cox

Antworten:

Wenn einen Vektor dann ist eine Standardnotation für die te Koordinate von , dh $x$ $x \in \mathbb R^m$ $x_i$ $i$ $x$

x = (x_{1}, x_{2}, \dots, x_{m}) \in R^{m} .

$x = (x_1, x_2, \ldots, x_m)\in\mathbb R^m.$

Wenn Sie eine Sammlung von solchen Vektoren haben, wie würden Sie einen ten Vektor bezeichnen? Sie können nicht schreiben , dies hat eine andere Standardbedeutung. Manchmal schreiben die Leute also und deshalb glaube ich, dass Andrew Ng es tut. $n$ $i$ $x_i$ $x^{(i)}$

x^{(1)} = (x_{1}^{(1)}, x_{2}^{(1)}, \dots, x_{m}^{(1)}) \in R^{m} x^{(2)} = (x_{1}^{(2)}, x_{2}^{(2)}, \dots, x_{m}^{(2)}) \in R^{m} \dots x^{(n)} = (x_{1}^{(n)}, x_{2}^{(n)}, \dots, x_{m}^{(n)}) \in R^{m} .

$\begin{equation} x^{(1)} = (x_1^{(1)}, x_2^{(1)}, \ldots, x_m^{(1)}) \in \mathbb R^m\\ x^{(2)} = (x_1^{(2)}, x_2^{(2)}, \ldots, x_m^{(2)}) \in \mathbb R^m\\ \ldots \\ x^{(n)} = (x_1^{(n)}, x_2^{(n)}, \ldots, x_m^{(n)}) \in \mathbb R^m.\\ \end{equation}$

Amöbe sagt Reinstate Monica
quelle

Ich bin nicht anderer Meinung, aber oft wird verwendet, dh für wiederholte Messungen.

x_{i j}

$x_{ij}$

Cliff AB

Ja, aber entspricht meinem ; Was wäre das Äquivalent von ?

x_{i j}

$x_{ij}$

x_{j}^{(i)}

$x^{(i)}_j$

x^{(i)}

$x^{(i)}$

Amöbe sagt Reinstate Monica

ja das ist ein vorteil Ich denke

wird manchmal verwendet, aber dies könnte verwechselt werden mit

x_{i .}

$x_{i.}$

\sum_{j = 1}^{n} x_{i j} / m

$\sum_{j= 1}^n x_{ij}/m$

Cliff AB

Wenn Sie über Matrizen iterieren möchten, scheint das

der intuitivste Weg zu sein, dies zu tun. Daher bleibt die Notation beim Übergang von Vektoren zu Matrizen konsistent.

x_{m n}^{(i)}

$x_{mn}^{(i)}$

Josh

@JAB Ja, um die Notation deutlicher zu machen ("Tipping", wie Sie sagen). Natürlich kann man zustimmen,

für den

ten Vektor und

für das

te Element des

ten Vektors zu verwenden. Es sind verschiedene Konventionen möglich, dies ist nur eine davon. Ich sage nicht einmal, dass es das beste ist, sondern erkläre nur die Gründe dafür.

x_{i}

$x_i$

i

$i$

x_{i j}

$x_{ij}$

j

$j$

i

$i$

Amöbe sagt Reinstate Monica

Die Verwendung von Super-Skripten ist, wie Sie gesagt haben, in der maschinellen Lernliteratur meines Erachtens nicht sehr verbreitet. Ich müsste Ngs Kursnotizen durchlesen, um zu bestätigen, aber wenn er diese Verwendung dort einsetzt, würde ich sagen, dass er der Ursprung der Verbreitung dieser Notation sein würde. Dies ist eine Möglichkeit. So oder so, um nicht zu unfreundlich zu sein, aber ich glaube nicht, dass viele der Online-Kursteilnehmer Literatur zum maschinellen Lernen veröffentlichen, daher ist diese Notation in der tatsächlichen Literatur nicht sehr verbreitet. Schließlich handelt es sich um Einführungskurse in maschinelles Lernen und nicht um Kurse auf Doktoratsniveau.

Was bei Superskripten sehr häufig vorkommt, ist, die Iteration eines Algorithmus unter Verwendung von Superskripten zu bezeichnen. Sie können beispielsweise eine Iteration der Newtonschen Methode schreiben als

$\theta^{(t+1)} = \theta^{(t)} - H(\theta^{(t)}) ^{-1} \nabla \theta^{(t)}$

wobei der Hessische und der Gradient ist. $H(\theta^{(t)})$ $\nabla \theta^{(t)}$

(... ja, dies ist aufgrund der Inversion der hessischen Matrix nicht ganz der beste Weg, Newtons Methode zu implementieren ...)

Hier repräsentiert den Wert von in der Iteration. Dies ist die häufigste (aber sicherlich nicht die einzige) Verwendung von Super-Skripten, die mir bekannt sind. $\theta^{(t)}$ $\theta$ $t^{th}$

$x^{(i)}$ $x_i$ $x^{(i)}$ $i^{th}$ $x$

Cliff AB
quelle

Der Konflikt mit der Verwendung von Hochgestellten in Klammern / Klammern für Iterationszählungen (eine Notation, die in einer Vielzahl von Bereichen gebräuchlich ist) ist eine wirklich wichtige Sache, die angesprochen werden muss.

Glen_b -Reinstate Monica

Es wird auch häufig verwendet, um den Index der Stichprobe im Trainingssatz anzugeben. Dies entspricht der Iteration, ist jedoch nicht genau derselbe, da Sie in der Regel Ihr Trainingssatz mehrmals durchlaufen.

Rex Kerr

Ich habe auch Iterationszählungen gesehen, die unter Verwendung von Indizes (

) sowie in der Zeile (

) aufgezeichnet wurden. Wenn ich eine bestimmte Notation verwende, setze ich normalerweise etwas an den Anfang, um zu disambiguieren (z. B. "in der folgenden Reihe bla bla bla" und dann die Mathematik). Unabhängig von der verwendeten Notation können die Leser (hoffentlich) die Bedeutung für potenziell mehrdeutige Fälle erkennen, anstatt anhand der ihnen bekannten Konventionen raten zu müssen.

a_{n + 1} = a_{n} + 1

$a_{n+1} = a_n + 1$

a (n + 1) = a (n) + 1

$a(n+1) = a(n) + 1$

JAB

(x > 0)

$(x > 0)$

I (x > 0)

$I(x > 0)$

I (x > 0)

$I(x > 0)$

x > 0

$x > 0$

=

$=$ ===

Für die Potenzierung werden bereits hochgestellte Zeichen verwendet.

In der Mathematik werden hochgestellte Zeichen je nach Fach links und rechts verwendet. Die Wahl ist immer historisches Erbe, nicht mehr. Wer zuerst ins Feld kam, setzte die Konvention der Verwendung von Unter- oder Hochbuchstaben.

$f(x)^{(n)}$

$R^i_i$ $i$ $j$ $T_i^k=R_i^jC_j^k$

$^i_jB_k^l$

Daher ist die Wahl der Hochschriften durch Ng auch rein historisch. Es gibt keinen wirklichen Grund, sie zu verwenden oder nicht zu verwenden, oder sie Subskriptionen vorzuziehen. Eigentlich glaube ich, dass hier ML-Leute Tensornotation verwenden. Sie sind auf jeden Fall gut mit dem Thema vertraut, siehe z . B. dieses Papier.

Aksakal
quelle

Ein weiteres Beispiel für Ihren Punkt: Einstein-Notation

Neil G