Der Versuch, die Beziehung zwischen Kreuzentropie und Ratlosigkeit zu verstehen. Im allgemeinen für ein Modell M , Perplexity (M) = 2 ^ Entropie (M) . Gilt diese Beziehung für alle verschiedenen n-Gramme, dh Unigramm, Bigram usw.?
natural-language
entropy
perplexity
Margalit
quelle
quelle
Antworten:
Ja, die Ratlosigkeit ist immer gleich zwei der Potenz der Entropie. Es spielt keine Rolle, welche Art von Modell Sie haben, n-Gramm, Unigramm oder neuronales Netzwerk.
Es gibt einige Gründe, warum Menschen, die Sprache modellieren, Ratlosigkeit mögen, anstatt nur Entropie zu verwenden. Eine davon ist, dass sich Verbesserungen der Ratlosigkeit aufgrund des Exponenten "wesentlich" anfühlen als die äquivalente Verbesserung der Entropie. Ein weiterer Grund ist, dass vor Beginn der Verwendung von Ratlosigkeit die Komplexität eines Sprachmodells mithilfe einer vereinfachten Verzweigungsfaktormessung berichtet wurde, die eher der Ratlosigkeit als der Entropie ähnelt.
quelle
Einverstanden mit der @ Aaron-Antwort mit einer geringfügigen Änderung:
Es ist nicht immer gleich zwei für die Kraft der Entropie. Tatsächlich wird es (Basis für log) zur Kraft der Entropie sein. Wenn Sie e als Basis verwendet haben, wäre dies eine Entropie.
quelle