Verwenden von Informationsgeometrie zum Definieren von Abständen und Volumina… nützlich?

13

Ich stieß auf eine große Menge an Literatur, die sich dafür einsetzte, die Fisher-Informationsmetrik als natürliche lokale Metrik im Raum der Wahrscheinlichkeitsverteilungen zu verwenden und dann darüber zu integrieren, um Entfernungen und Volumina zu definieren.

Aber sind diese "integrierten" Größen tatsächlich für irgendetwas nützlich? Ich fand keine theoretischen Gründe und nur sehr wenige praktische Anwendungen. Eines ist Guy Lebanons Werk, bei dem er Dokumente anhand von "Fischers Entfernung" klassifiziert, und eines ist Rodriguez ' ABC der Modellauswahl ... wobei "Fischers Volumen" für die Modellauswahl verwendet wird. Anscheinend führt die Verwendung von "Informationsvolumen" zu einer Verbesserung von "Größenordnungen" gegenüber AIC und BIC bei der Modellauswahl, aber ich habe keine Folgemaßnahmen zu dieser Arbeit gesehen.

Eine theoretische Rechtfertigung könnte darin bestehen, eine Verallgemeinerungsgrenze zu haben, die dieses Maß für Abstand oder Volumen verwendet und besser ist als die aus MDL oder asymptotischen Argumenten abgeleiteten Grenzen, oder eine Methode, die sich auf eine dieser Größen stützt, die in einer vernünftigerweise praktischen Situation nachweislich besser ist irgendwelche Ergebnisse dieser Art?

model-selection information-geometry Jaroslaw Bulatow
quelle
Fisher-Informationen geben die Untergrenze bei der Parameterschätzung an. Es ist eine natürliche Metrik, denn sie sagt ungefähr so ​​etwas wie "In diese Richtung kann der Schwierigkeitsgrad meines Problems nicht mehr sinken". Was Sie Verallgemeinerungsgrenzen nennen, sind Obergrenzen? Möchten Sie die Leistung der Methode kennen, die Fisher-Metrik verwendet (der große Körper, den Sie erwähnen, ist eine gute Liste)? Entschuldigung, aber ich verstehe die Frage nicht wirklich :) Können Sie diesen Punkt umformulieren?
Robin Girard
Angenommen, die Fisher-Informationsmatrix gibt unseren Riemannschen Metriktensor an. Hiermit können wir die Bogenlänge jeder Kurve durch Integrieren ermitteln. Dann definieren Sie den Abstand zwischen p und q als kleinste Bogenlänge über alle Kurven, die p und q verbinden. Dies ist das Entfernungsmaß, nach dem ich frage. Das gleiche gilt für die Lautstärke.
Yaroslav Bulatov
1
Nur als Beispiel erhält Rodriguez eine signifikante Verbesserung, indem er das "Informationsvolumen" als Maß für die Modellkomplexität verwendet, aber überraschenderweise kann ich niemanden sehen, der dies ausprobiert
Yaroslav Bulatov,

Antworten:

5

Vergangene Woche gab es in der Royal Statistical Society eine Lesung über MCMC-Techniken über Riemann-Mannigfaltigkeiten, in erster Linie unter Verwendung der Fisher-Informationsmetrik: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Die Ergebnisse scheinen vielversprechend zu sein, obwohl die Fisher-Informationen, wie die Autoren betonen, in vielen interessanten Modellen (z. B. Mischungsmodellen) keine analytische Form haben.

Simon Byrne
quelle
1
Ist das die Zeitung "Riemann-Mannigfaltigkeit Langevin"? Integrieren Sie irgendwann Fisher-Informationen?
Yaroslav Bulatov
4

Das bekannteste Argument ist, dass die Fisher-Metrik, die für Koordinatentransformationen unveränderlich ist, verwendet werden kann, um einen nicht informierten Prior (Jeffreys Prior) zu formulieren. Ich bin mir nicht sicher, ob ich es kaufe!

Weniger bekannt ist, dass sich diese "integrierten Größen" manchmal als Divergenzen herausstellen, und man kann argumentieren, dass die Fischerentfernungen eine verallgemeinerte Menge von Divergenzen (und deren Eigenschaften) erzeugen.

Trotzdem muss ich noch eine gute intuitive Beschreibung der Fischerinformationen und der von ihnen erzeugten Mengen finden. Bitte sag mir, ob du einen findest.

Lucas
quelle
Viele Dinge sind über Fisher Information bekannt, es sind Integrale von Fischerinformationen, bei denen ich mir nicht sicher bin. Mir ist nicht bekannt, was Sie über Fisher Information sagen, das sich in eine bekannte Divergenz bei der Integration verwandelt
Jaroslaw Bulatow,
4

Der Grund, warum es "kein Follow-up" gibt, ist, dass nur sehr wenige Menschen die Arbeit von Rodriguez verstehen, die viele Jahre zurückliegt. Es ist wichtig und wir werden in Zukunft mehr davon sehen, da bin ich mir sicher.

Einige argumentieren jedoch, dass die Fisher-Metrik nur eine Annäherung 2. Ordnung an die wahre Metrik ist (z. B. Neumanns Aufsatz über die Etablierung entropischer Priors ), die tatsächlich durch die Kullback-Liebler-Distanz (oder deren Verallgemeinerungen) definiert wird und zur Formulierung von führt MDI-Vorgänger.

Michael
quelle