Algebraische Geometrie für die Statistik

Ich habe von Anwendungen der algebraischen Geometrie in Statistik und maschinellem Lernen gehört. Ich wollte versuchen, etwas über diese Themen zu lernen. Ich weiß fast nichts über algebraische Geometrie, aber ich habe einen Hintergrund in Mathematik und ich kenne mich mit grundlegender Gruppentheorie, Ringfeldern und etwas kommutativer Algebra aus. Meine Fragen sind:

1. Was sind die algebrischen geometrischen Konzepte, die ich lernen sollte und die mit Anwendungen in Stats / ML verbunden sind (ich nehme an, dass nur ein Teil dessen, was normalerweise in Kursen und Büchern zur algebraischen Geometrie gelehrt wird, nützlich ist).

2. Können Sie jemandem mit meinem Hintergrund einige Bücher / Einführungsartikel empfehlen? Ich meine nicht Standardlehrbücher für AG, sondern etwas, das sich auf Konzepte konzentriert, die in Anwendungen verwendet werden.

Hier ist eine Liste der Standardreferenzen:

• Drton, Sturmfels und Sullivant, Vorlesungen über algebraische Statistik
• Pachter, Sturmfels, Algebraische Statistik für Computational Biology
• Pistone, Riccomagno, Wynn, Algebraische Statistik: Computational Commutative Algebra in Statistics
• Sullivante, algebraische Statistik
• Zwiernik, Semialgebraische Statistik und Latentbaummodelle
• Riccomagno, Eine kurze Geschichte der algebraischen Statistik

Hier ist eine Liste verwandter Referenzen, die sich nicht direkt mit algebraischen Statistiken befassen, obwohl sie Hintergrundinformationen zu der für das Thema verwendeten Methodik liefern:

• Lauritzen, Grafische Modelle
• Lauritzen, Konkrete abstrakte Algebra
• Perle, Kausalität: Modelle, Argumentation und Folgerung
• Cox, Little, O'Shea, Ideale, Varietäten und Algorithmen: Eine Einführung in die rechnergestützte algebraische Geometrie und die kommutative Algebra
• Garrity, Belshoff, Boos et al., Algebraische Geometrie: Ein Ansatz zur Problemlösung
• Sturmfels, Lösen von Polynomgleichungssystemen
• Uhler, Geometrie der Maximum-Likelihood-Schätzung in grafischen Modellen

Webseiten mit Kursen zum Thema Vergangenheit und Gegenwart:

• Professor Sturmfels Kurs in Berkeley
• Kurs an der TU Berlin
• Seminar an der Freien Universität Berlin
• Konferenz an der Universität von Genua
• Berkeley Algebraic Statistics Seminar

Diese Listen sind mit ziemlicher Sicherheit keineswegs vollständig.

• Sumio Watanabe, Algebraische Geometrie und statistische Lerntheorie , Cambridge University Press, Cambridge, Großbritannien, 2009.

Dieses Buch ist sicherlich einflussreich und legt die Grundlagen für die Verwendung der algebraischen Geometrie in der statistischen Lerntheorie. Viele weit verbreitete statistische Modelle und Lernmaschinen für die Informationswissenschaft haben einen singulären Parameterraum: Mischungsmodelle, neuronale Netze, HMMs, Bayes'sche Netze und stochastische kontextfreie Grammatiken sind wichtige Beispiele. Algebraische Geometrie und Singularitätstheorie liefern die notwendigen Werkzeuge, um solche nicht glatten Modelle zu untersuchen. Es werden vier Hauptformeln festgelegt:

1. Die Log-Likelihood-Funktion kann unter Verwendung der Auflösung von Singularitäten eine gemeinsame Standardform erhalten, die sogar auf komplexere Modelle angewendet wird.

2. Das asymptotische Verhalten der Grenzwahrscheinlichkeit oder des „Beweises“ wird auf der Grundlage der Zeta-Funktionstheorie abgeleitet.

3. Es werden neue Methoden abgeleitet, um die Generalisierungsfehler in Bayes- und Gibbs-Schätzungen aus Trainingsfehlern abzuschätzen.

4. Die Generalisierungsfehler der Maximum-Likelihood- und A-posteriori-Methoden werden durch die empirische Prozesstheorie zu algebraischen Varietäten geklärt.