Bedingte Wahrscheinlichkeiten als Tensoren?

Ist es richtig, bedingte Wahrscheinlichkeiten wie die Formulare anzuzeigen:

P (a | c)

P (a | c, d)

P (a, b | c, d)

... und so weiter als Tensoren?

Wenn ja, kennt jemand einen anständigen Einführungstext (Online-Tutorial, Workshop-Artikel, Buch usw.), der Tensoren in diesem Sinne für Informatiker / Praktiker des maschinellen Lernens entwickelt?

Ich habe eine Reihe von Artikeln gefunden, aber diejenigen, die auf einer Einführungsstufe geschrieben wurden, sind für Physiker geschrieben, und diejenigen, die für Informatiker geschrieben wurden, sind ziemlich fortgeschritten.

machine-learning probability-theory statistics Novak
quelle

Entschuldigung, aber was ist Tensors?

Seteropere

Tensoren sind die mehrdimensionalen Analoga von Matrizen. Matrizen sind zweidimensionale Tensoren.

Yuval Filmus

Ich hätte gesagt, dass sie selbst die mehrdimensionalen Analoga von Vektoren sind. In diesem Licht handelt es sich jedoch um geometrische Objekte mit speziellen Regeln und Operatoren, mit denen ich nicht sehr vertraut bin. Die Frage ist also, können bedingte Wahrscheinlichkeiten in diesem Sinne als Tensoren angesehen werden, und wenn ja, wie werden die typischen Operatoren interpretiert?

Novak

Wenn Sie anzeigen

P (A = a) = \sum_{b} P (A = a | B = b) P (B = b)

$P(A=a) = \sum_b P(A=a|B=b) P(B=b)$ Wenn eine Matrix mal einen Vektor ist, können Sie ähnliche Interpretationen anderer ähnlicher Gleichungen finden. Ist es das, wonach du suchst?

Yuval Filmus

Ja im Grunde. Mit den vielen folgenden Fragen: Sind das richtige Tensoroperationen? Gibt es in diesem Rahmen eine intuitive Interpretation von Kovarianz und Kontravarianz? Was ist mit Kontraktionsoperationen? Erhöhte und gesenkte Indizes und sogenanntes "Index-Jonglieren"?

Novak

Antworten:

Dies ist definitiv möglich, obwohl der Tensor natürlich bestimmte zusätzliche Strukturen (Einschränkungen) aufweist.

Wenn Sie die folgende Bedingung berücksichtigen, die für eine kategoriale Antwort definiert ist $Y$ auf kategoriale Prädiktoren $X_i$ ::

$P(Y|X_1,\ldots,X_n)$

dies entspricht einem bedingten Wahrscheinlichkeitstensor der Größe $d_0 \cdot d_1 \cdot \ldots \cdot d_n$ . Hier $Y$ (als kategorische Antwort) nimmt $d_0$ Ebenen.

In erster Linie müssen die Elemente des Tensors jeweils nicht negativ sein.

Hierzu finden Sie Artikel, z. B. "Bayesian Conditional Tensor Factorizations for High-Dimensional Classification" von Yang und Dunson ( pdf, arxiv ).

Wenn es sich bei den betreffenden Zufallsvariablen nicht um kategoriale Variablen handelt, sondern entweder um kontinuierliche Zufallsvariablen oder um eine unendliche Anzahl von Werten (oder beides), ist die Zuordnung zu endlichen Tensoren natürlich nicht so trivial. Sie benötigen so etwas wie einen unendlichen Tensor (als Erweiterung einer unendlichen Matrix).

ondervloei
quelle