Algorithmen für maschinelles Lernen basierend auf „struktureller Risikominimierung“?

9

Welche Algorithmen für maschinelles Lernen (neben SVMs) verwenden das Prinzip der strukturellen Risikominimierung ?

reference-request machine-learning Klassifizieren
quelle
2
Was ist ein Algo?
Dave Clarke
algo = Algorithmus;)
Classifire
Bitte verwenden Sie vollständige Wörter.
Kaveh
ok ... wollte den Titel nicht zu lang machen
Classifire
Soweit ich das beurteilen kann, ist SRM nichts anderes als eine gute alte Regularisierung , die absolut überall verwendet wird.
Emre

Antworten:

8

Das Prinzip der strukturellen Risikominimierung ist ein Prinzip, das zumindest teilweise in allen Methoden des maschinellen Lernens „angewendet“ wird, da häufig eine Überanpassung berücksichtigt werden muss: Die Reduzierung der Komplexität des Modells ist (angeblich und in der Praxis) ein guter Weg, um dies zu begrenzen Überanpassung.

  • SVMs haben explizit einen Parameter für die Komplexität (die Dimension des Feature-Space oder sogar die Kernelfunktion) und dies ist notwendig, da die Erhöhung der Komplexität Teil des Lernalgorithmus ist.

  • Neuronale Netzwerke haben auch einen einfachen Indikator für ihre Komplexität (Anzahl der "Zellen") und sind Teil des zugehörigen Lernalgorithmus.

  • Ohne dieses Prinzip wäre Grammatikinferenz sowohl dumm als auch perfekt. Grammatik ist die Liste aller möglichen Wörter, so dass jeder nicht triviale Algorithmus dieses Prinzip zumindest anerkennt.

  • Entscheidungsbäume haben ihre eigene Vorstellung von Entropie .

  • Cluster können einfach gezählt werden oder das Prinzip intrinsisch "verwenden" oder eine feste Anzahl von Clustern haben. In diesem Fall wenden Sie das Prinzip auf einer höheren Ebene an.

Um ganz ehrlich zu sein, weiß ich nicht wirklich, was in der genetischen Programmierung passiert, aber sie haben keine intrinsische Vorstellung von Komplexität.

Ich kenne mich nicht gut mit induktiver Logikprogrammierung aus, aber sie scheint nicht sehr gut auf dieses Prinzip zu skalieren.

jmad
quelle
Kennen Sie einen Lernalgorithmus, der noch leistungsfähiger und weniger anfällig für Überanpassungen ist als SVM? Oder vielleicht eine Technik zur Verbesserung der Standard-SVM?
Classifire
wenn @ user2278 von ‚mächtig‘ bedeuten Sie ‚effizient‘ dann sind SVMs ziemlich groß und es gibt eine Menge von Forschung über sie und Werkzeuge verwenden es. Aber natürlich hängt es von Ihrem Problem ab.
jmad
Nun, ich würde gerne SVM auf den Finanzmärkten einsetzen, und es gibt tatsächlich einige Artikel, die sich diesem Thema widmen (Verwendung von SVM für die Aktienprognose usw.). Gibt es einen Algorithmus, der für diesen Zweck besser geeignet wäre (zumal finanzielle Zeitreihen so "verrauscht" sind)?
Classifire
@ user2278 Verwenden Sie besser die Papiere. Ich bin kein Experte. (Ich wäre nicht überrascht, dass SVMs das Beste dafür sind. Außerdem verhalten sie sich gut, was Lärm betrifft.)
23.