Ratlosigkeit und Kreuzentropie für n-Gramm-Modelle

10

Der Versuch, die Beziehung zwischen Kreuzentropie und Ratlosigkeit zu verstehen. Im allgemeinen für ein Modell M , Perplexity (M) = 2 ^ Entropie (M) . Gilt diese Beziehung für alle verschiedenen n-Gramme, dh Unigramm, Bigram usw.?

Margalit
quelle
Das ist eigentlich die Definition von Ratlosigkeit; das Ding wird daraus abgeleitet;)Πi=1N1P(wi|w1,...wi1)N
WavesWashSands

Antworten:

9

Ja, die Ratlosigkeit ist immer gleich zwei der Potenz der Entropie. Es spielt keine Rolle, welche Art von Modell Sie haben, n-Gramm, Unigramm oder neuronales Netzwerk.

Es gibt einige Gründe, warum Menschen, die Sprache modellieren, Ratlosigkeit mögen, anstatt nur Entropie zu verwenden. Eine davon ist, dass sich Verbesserungen der Ratlosigkeit aufgrund des Exponenten "wesentlich" anfühlen als die äquivalente Verbesserung der Entropie. Ein weiterer Grund ist, dass vor Beginn der Verwendung von Ratlosigkeit die Komplexität eines Sprachmodells mithilfe einer vereinfachten Verzweigungsfaktormessung berichtet wurde, die eher der Ratlosigkeit als der Entropie ähnelt.

Aaron
quelle
1

Einverstanden mit der @ Aaron-Antwort mit einer geringfügigen Änderung:

Es ist nicht immer gleich zwei für die Kraft der Entropie. Tatsächlich wird es (Basis für log) zur Kraft der Entropie sein. Wenn Sie e als Basis verwendet haben, wäre dies eine Entropie.

Prashant Gupta
quelle