Informationstheorie und konvexe Optimierung

9

Ich mache einen Abschluss in Informationstheorie und bin ständig beeindruckt, wie viel konvexe Optimierung in diesem Fach steckt. Die Beweise scheinen jedoch davor zurückzuschrecken, die gesamte Maschinerie der Entspannungstheorie, der Dualität usw. zu nutzen. Dies ist verständlich, da Sie kein ganzes Semester konvexer Optimierung benötigen, um dieses Zeug zu lehren. Aber als jemand, der sich mit Optimierung ziemlich gut auskennt, habe ich das Gefühl, dass mir viel Eleganz und Intuition entgeht, wenn diese Links nicht mehr untersucht werden. Ich bemerke oft Beweise, die viel kürzer wären, wenn Sie auch eine konvexe Analyse verwendet hätten.

Gibt es Bücher, die sich mehr mit Informationstheorie aus dieser Perspektive befassen? Wir verwenden hauptsächlich Vorlesungsunterlagen von Stefan Moser, Y. Polyanskiy und Y. Wu sowie die Netzwerkinformationstheorie von El Gamal.

reference-request it.information-theory convex-optimization luegofuego
quelle
Können Sie ein Beispiel für eine solche "Eleganz und Intuition" in einem anderen Kontext geben?
Kodlu
Nun, als eines von vielen Beispielen haben wir über Sattelpunkteigenschaften der Kanalkapazität gesprochen. Ich glaube, es heißt KL-Divergenz-Minmax-Formulierung oder so. Es ist ziemlich gut in den Polyanskiy-Notizen behandelt, die ich oben erwähnt habe. Was mir aufgefallen ist, dass es genau eine Neuaussage der Lagrange-Entspannung / Dualität in einem anderen Kontext zu sein schien.
Luegofuego
Ein etwas banaleres Beispiel könnte sein, als wir gebeten wurden, die Konvexität der Ratenverzerrungsfunktion zu beweisen. Dies ist ein einzeiliger Beweis, wenn Sie sich an einige Eigenschaften von Infimums über konvexe Mengen usw. erinnern
luegofuego

Antworten:

4

Die folgenden Bücher mögen Ihnen besser gefallen, aber im Allgemeinen sind die Texte / Vorlesungsunterlagen für (hauptsächlich) Doktoranden im Ingenieurwesen geschrieben und können keine tiefen Kenntnisse der konvexen Analyse voraussetzen.

  1. Csizsar, I. und Korner, J., Informationstheorie: Codierungssätze für diskrete speicherlose Systeme, 2. Auflage, Cambridge.
  2. Berger, T., Rate Distortion Theory, ziemlich alt, wahrscheinlich Ende der 70er oder Anfang der 80er Jahre, kann sich nicht an den Verlag erinnern, vielleicht an Wiley.
  3. Yeung, RW, Ein erster Kurs in Informationstheorie, Springer.

Die Forschungsartikel zur Shannon-Theorie und verwandten Bereichen, beispielsweise in IEEE-Transaktionen zur Informationstheorie, passen möglicherweise besser, wenn auch nicht immer.

Ein älterer Text, der ebenfalls von Interesse sein kann, ist

Wolfowitz, J., Codierungssätze der Informationstheorie, Springer, 1960er Jahre.

Kodlu
quelle
Nur ein Kommentar, es hängt davon ab, was man als "tief" betrachten würde. Zum Beispiel betrachte ich die Informationstheorie als tiefer als die konvexe Analyse (zum Beispiel, weil sie mehr Anwendungen auf verschiedenen Gebieten hat) und ich bevorzuge es, die konvexe Analyse stattdessen auf die Informationstheorie zu reduzieren von umgekehrt. Es kann gemacht werden, wenn man will (sagen wir mal, wie Kategorietheoretiker alles auf Kategoriker anstatt auf Algebra reduzieren möchten :)).
Nikos M.
@ Nikos M., absolut, und ich sympathisiere. Beispielsweise führen einige informationstheoretische Probleme zu nicht konvexen Kapazitätsbereichen, z. B. OFDMA.
Kodlu