Kann mir jemand sagen, was mit dem Ausdruck "schwacher Lernender" gemeint ist? Soll es eine schwache Hypothese sein? Ich bin verwirrt über die Beziehung zwischen einem schwachen Lernenden und einem schwachen Klassifikator. Sind beide gleich oder gibt es einen Unterschied?
In dem Adaboost-Algorithmus T=10. Was ist damit gemeint? Warum wählen wir aus T=10?
classification
svm
terminology
adaboost
pac-learning
vrushali
quelle
quelle
Antworten:
Ein "schwacher" Lernender (Klassierer, Prädiktor usw.) ist nur einer, der relativ schlecht abschneidet - seine Genauigkeit ist über dem Zufall, aber gerade noch. Es gibt oft, aber nicht immer, die zusätzliche Implikation, dass es rechnerisch einfach ist. Schwache Lerner schlagen auch vor, dass viele Instanzen des Algorithmus zusammengefasst werden (durch Boosten, Absacken usw.), um einen "starken" Ensemble-Klassifikator zu erstellen.
Es ist in der ursprünglichen AdaBoost-Veröffentlichung von Freund & Schapire erwähnt:
aber ich denke, der Ausdruck ist tatsächlich älter als das - ich habe Leute gesehen, die eine Hausarbeit (?!) von Michael Kearns aus den 1980er Jahren zitierten.
Das klassische Beispiel für einen schwachen Lernenden ist ein Entscheidungsstumpf, ein einstufiger Entscheidungsbaum (1R oder OneR ist ein anderer häufig verwendeter schwacher Lernender; er ist ziemlich ähnlich). Es wäre etwas seltsam, einen SVM selbst in Situationen, in denen er schlecht abschneidet, als "schwachen Lernenden" zu bezeichnen, aber es wäre durchaus vernünftig, einen einzelnen Entscheidungsstumpf als einen schwachen Lernenden zu bezeichnen, selbst wenn er selbst überraschend gut abschneidet.
Adaboost ist ein iterativer Algorithmus und bezeichnet typischerweise die Anzahl der Iterationen oder "Runden". Der Algorithmus beginnt mit dem Training / Testen eines schwachen Lerners mit den Daten, wobei jedes Beispiel gleich gewichtet wird. Bei den falsch klassifizierten Beispielen wird das Gewicht für die nächste (n) Runde (n) erhöht, während bei den richtig klassifizierten das Gewicht verringert wird.
Ich bin mir nicht sicher, ob etwas Magisches ist . In der Arbeit von 1995 wird T als freier Parameter angegeben (dh Sie stellen ihn selbst ein).T= 10 T
quelle
Schwacher Lernender ist ein Lernender, der unabhängig von der Verteilung auf die Trainingsdaten immer eine bessere Leistung erzielt als der Zufall, wenn er versucht, die Daten zu kennzeichnen. Besser als der Zufall zu sein bedeutet, dass wir immer eine Fehlerrate von weniger als 1/2 haben werden.
Dies verbessert schließlich die schwachen Lernenden und wandelt sie in starke Lernende um.
Für weitere Informationen: https://youtu.be/zUXJb1hdU0k .
quelle
Schwacher Lerner ist dasselbe wie schwacher Klassifikator oder schwacher Prädiktor. Die Idee ist, dass Sie einen Klassifikator verwenden, der nicht so gut, aber zumindest besser als zufällig ist. Der Vorteil ist, dass der Klassifikator robust gegen Überanpassung ist. Natürlich benutzt du nicht nur eine, sondern eine große Menge davon, jede etwas besser als zufällig. Die genaue Art und Weise, wie Sie sie auswählen / kombinieren, hängt von der Methodik / dem Algorithmus ab, z. B. AdaBoost.
In der Praxis verwenden Sie als schwacher Klassifikator so etwas wie einen einfachen Schwellenwert für ein einzelnes Feature. Wenn das Merkmal über dem Schwellenwert liegt, sagen Sie voraus, dass es zu den Positiven gehört, andernfalls entscheiden Sie, dass es zu den Negativen gehört. Ich bin mir bei T = 10 nicht sicher, da es keinen Kontext gibt, aber ich kann davon ausgehen, dass es sich um ein Beispiel für die Schwellenwertbestimmung einer Funktion handelt.
quelle