Was ist "Entropie und Informationsgewinn"?

Ich lese dieses Buch ( NLTK ) und es ist verwirrend. Entropie ist definiert als : Die Entropie ist die Summe der Wahrscheinlichkeit jedes Etiketts mit der Protokollwahrscheinlichkeit desselben Etiketts Wie kann ich Entropie und maximale Entropie in Bezug auf Text Mining anwenden ? Kann mir...