Ich untersuche das PAC-Lernen (Computational Learning Theory) als Anfänger ohne Vorkenntnisse in maschinellem Lernen / KI. Ich untersuche das Modell hauptsächlich aus historischer Sicht.
Das Wichtigste dabei sind natürlich die modellbasierten Ergebnisse. Es gibt genügend Papiere, die diese Ergebnisse dokumentieren. Ich möchte aber auch etwas darüber schreiben, was vor dem PAC-Lernen vor sich ging, um den historischen Kontext zu skizzieren, bis zu dem Valiant mit dem Begriff des PAC-Modells kam.
Bisher dokumentieren keine Papiere / Umfragen dies, und als jemand ohne wirkliche Kenntnisse des maschinellen Lernens ist es schwierig, dies herauszufinden. Ich stelle daher hier diese weiche Frage, weil ich glaube, dass es genügend Experten gibt, die mir dabei helfen können. Referenzen werden sehr geschätzt.
Wenn ich recherchieren und studieren kann, was vor PAC vor sich ging, kann ich besser verstehen, warum die akademische Welt so begeistert von dem PAC-Modell ist, das auch in meiner historischen Arbeit zu dokumentieren ist!
quelle
Antworten:
Von einem Autor wird erwartet, dass er sich zu Beginn seiner Veröffentlichung mit der Frage nach dem Kontext und der Relevanz seiner Ergebnisse befasst. Ich habe gerade die Einführung von "L. Valiant. Eine Theorie des Lernbaren. Mitteilungen der ACM, 27, 1984" überflogen. wieder und fand heraus, dass Valiant Ihre Frage tatsächlich gut abdeckte.
Das Originalpapier von Valiant ist frei verfügbar und nicht allzu schwer zu lesen. (Mit Ausnahme von Abschnitt 7, der nur beweist, dass der Autor auch herausfordernde mathematische Probleme angehen kann, aber nicht viel zum eigentlichen Inhalt des Papiers beiträgt.) Zumindest das Lesen seiner Einführung ist lohnender als das Lesen meiner zu langen Antwort darauf Frage, also schlage ich vor, es wirklich zu versuchen.
Der Rest dieser Antwort versucht, einige Passagen aus der Einleitung zu zitieren, die angeben sollten, ob das Lesen dieser Einleitung die Frage nach dem historischen Kontext beantworten könnte. Beachten Sie jedoch, dass ein Autor das natürliche Vorrecht hat, in Bezug auf solche Fragen voreingenommen zu sein.
Dies ist eine interessante Information für den Kontext, da die Aussagenrechnung wesentlich schwächer ist als die Prädikativrechnung oder die verschiedenen Systeme der Typentheorie, die heute manchmal verwendet werden. (Seltsamerweise waren Prolog (1972) und ML (1973) unter anderem als Metasprachen für "solche" Expertensysteme gedacht und scheinen, soweit ich sehen kann, über die einfache Aussagenlogik hinauszugehen. Auch das relationale Modell ( 1969) für die Datenbankverwaltung wird behauptet , auf Prädikatenlogik basieren.)
Ich stimme hier voll und ganz zu. Es ist wichtig zu erklären, wie Ihre Lösung ein bestimmtes Problem lösen kann und in welchem Sinne es sich um eine Lösung handelt. Andernfalls erhalten Sie nur Theoreme zum "No-Free-Lunch", mit denen Sie eine fehlerhafte Implementierung einer zweifelhaften Heuristik nicht von einer korrekten Implementierung einer geeigneten Heuristik unterscheiden können.
Die Eigenschaften ((1) - (3)) waren, dass (1) "die Maschinen nachweislich ganze charakterisierbare Klassen von Konzepten lernen können", die (2) "für allgemeines Wissen geeignet und nicht trivial" und (3) "rechnerisch" sind Prozess erfordert nur eine realisierbare (dh polynomielle) Anzahl von Schritten ".
quelle
Die Sprachidentifikation im Grenzbereich ist der erste bekannte Versuch, den Begriff der Lernbarkeit zu erfassen. Es wurde 1967 von Gold eingeführt und ist ein Modell für induktive Inferenz, das das Erlernen von Sprachklassen betrifft.
quelle