Probleme im Zusammenhang mit Entropie

Ich bin seit langem mit der Verwirrung in Bezug auf Entropie konfrontiert und wäre verpflichtet, wenn die folgenden Fragen in weniger technischer Fachsprache beantwortet würden. Dem Link folgen Verschiedene Arten von Entropie werfen die folgenden Fragen auf

1. Entropie - Es ist erwünscht, dass die Entropie des Systems maximiert wird. Das Maximieren der Entropie bedeutet, dass kein Symbol besser ist als die anderen, oder wir wissen nicht, was das nächste Symbol / Ergebnis sein würde. Die Formel gibt jedoch ein negatives Vorzeichen vor der Summierung der Wahrscheinlichkeitslogarithmen an. Das heißt, wir maximieren einen negativen Wert !! Wenn dann ein ursprüngliches Rohsignal quantisiert wird und die Entropie der quantisierten Information berechnet wird und als geringer als die ursprüngliche Entropie befunden wird, würde dies einen Informationsverlust bedeuten. Warum wollen wir also die Entropie maximieren, da dies bedeuten würde, dass wir die Unsicherheit des nächsten Symbols maximieren, während wir sicher sein wollen, wie das nächste Auftreten des Symbols aussehen würde?
2. Was sind die Unterschiede zwischen Shannons Entropie, topologischer Entropie und Quellenentropie?
3. Was genau ist die Bedeutung der Kolgomorov-Komplexität oder der Kolgomorov-Entropie? Wie hängt es mit Shannons Entropie zusammen?
4. Welche Informationen vermitteln gegenseitige Informationen zwischen zwei Vektoren?

Ich werde versuchen, die Fragen 1 und 4 anzugehen.

1) Entropie - Es ist erwünscht, dass die Entropie des Systems maximiert wird. Das Maximieren der Entropie bedeutet, dass kein Symbol besser ist als die anderen, oder wir wissen nicht, was das nächste Symbol / Ergebnis sein würde. Die Formel gibt jedoch ein negatives Vorzeichen vor der Summierung der Wahrscheinlichkeitslogarithmen an. Das heißt, wir maximieren einen negativen Wert !!

Nein, die Werte der Logarithmen selbst sind negativ, daher macht das negative Vorzeichen sie positiv. Alle Wahrscheinlichkeiten sind eine reelle Zahl von 0 bis einschließlich 1. Das Protokoll von 1 ist Null und das Protokoll von weniger als 1 ist negativ. Dies mag problematisch erscheinen, da das Protokoll von 0 , aber wir versuchen wirklich, den erwarteten Wert dieser Protokolle zu maximieren. Wenn wir also mit der Wahrscheinlichkeit selbst multiplizieren, nähert sich der gesamte Wert 0, nicht . Entropiespitzen, wenn die Wahrscheinlichkeit beträgt .$-\infty$$\infty$$1/2$

Warum wollen wir also die Entropie maximieren, da dies bedeuten würde, dass wir die Unsicherheit des nächsten Symbols maximieren, während wir sicher sein wollen, wie das nächste Auftreten des Symbols aussehen würde?

Nein, bei der Übermittlung von Informationen möchten wir absolut NICHT sicher sein, wie das nächste Symbol aussehen wird. Wenn wir sicher sind, welche Informationen werden durch den Empfang gewonnen? Keiner. Nur durch Unsicherheit darüber, was der Sender senden wird, können wir Informationen empfangen.

4) Welche Informationen vermitteln gegenseitige Informationen zwischen zwei Vektoren?

Wenn sich zwei Vektoren gegenseitig informieren, sagt etwas über den einen etwas über den anderen aus. Mathematisch entspricht dies dem folgenden Wissen: Ein Wissen über einen Vektor beeinflusst die Wahrscheinlichkeiten des anderen Vektors. Wenn sie unabhängig wären, wäre dies nicht der Fall.

Ein Beispiel für gegenseitige Information sind digitale Walkie-Talkies. Ein Vektor ist der Bitstrom, den das erste Walkie-Talkie sendet. Der zweite Vektor ist das Signal, das das zweite Walkie-Talkie empfängt. Die beiden sind offensichtlich verwandt, aber aufgrund von Rauschen und unbekannten Kanalbedingungen kann das zweite Walkie-Talkie nicht sicher wissen, was das erste gesendet hat. Es kann einige wirklich gute Vermutungen basierend auf dem Signal anstellen, aber es kann nicht sicher wissen.