Wann sollte lineare Regression als „maschinelles Lernen“ bezeichnet werden?

90

In einem kürzlich abgehaltenen Kolloquium behauptete die Zusammenfassung des Redners, sie würden maschinelles Lernen anwenden. Während des Vortrags bestand das einzige, was mit maschinellem Lernen zu tun hatte, darin, dass sie eine lineare Regression ihrer Daten durchführen. Nach der Berechnung der Best-Fit-Koeffizienten im 5D-Parameterraum verglichen sie diese Koeffizienten in einem System mit den Best-Fit-Koeffizienten anderer Systeme.

Wann ist lineares maschinelles Regressionslernen im Gegensatz zum einfachen Finden einer Best-Fit-Linie? (War die Zusammenfassung des Forschers irreführend?)

Bei aller Aufmerksamkeit, die das maschinelle Lernen in letzter Zeit auf sich gezogen hat, scheint es wichtig, solche Unterscheidungen zu treffen.

Meine Frage ist wie diese , mit der Ausnahme, dass in dieser Frage die Definition der "linearen Regression" gefragt wird, während in meiner Frage gefragt wird, wann die lineare Regression (die eine große Anzahl von Anwendungen hat) angemessen als "maschinelles Lernen" bezeichnet werden kann.

Klarstellungen

Ich frage nicht, wann lineare Regression mit maschinellem Lernen identisch ist. Wie einige dargelegt haben, ist ein einzelner Algorithmus kein Untersuchungsgebiet. Ich frage, wann es richtig ist, zu sagen, dass man maschinelles Lernen macht, wenn der verwendete Algorithmus einfach eine lineare Regression ist.

Abgesehen von allen Witzen (siehe Kommentare), ist einer der Gründe, warum ich das frage, weil es unethisch ist zu sagen, dass man maschinelles Lernen macht, um Ihrem Namen ein paar goldene Sterne hinzuzufügen, wenn sie nicht wirklich maschinelles Lernen machen. (Viele Wissenschaftler berechnen eine Art Best-Fit - Linie für ihre Arbeit, aber das bedeutet nicht , dass sie für maschinelles Lernen tun.) Auf der anderen Seite gibt es eindeutig Situationen , in denen lineare Regression wird im Rahmen des maschinellen Lernens eingesetzt. Ich suche Experten, die mir helfen, diese Situationen zu klassifizieren. ;-)

jvriesem
quelle
13
Vielleicht möchten Sie den Thread sehen: " Die zwei Kulturen: Statistik vs. maschinelles Lernen? ".
usεr11852
75
Sie sollten Ihre Regression in "Maschinelles Lernen" umbenennen, wenn Sie die Gebühren auf Ihrer Preisliste verdoppeln möchten.
Sycorax
3
Da ist ein Unterschied. Lernen ist ein Prozess. Eine optimale Anpassung ist ein Ziel. Siehe meine Antwort unten. Ehrlich gesagt, haben die Wörter nicht die gleiche Bedeutung, obwohl sie im selben Zusammenhang vorkommen können, wie "Vögel fliegen", kann man die beiden miteinander verbinden, aber Vögel sind kein Flug, und obwohl Fliegen für die Vögel ist, ist es für F -18 Kampfjets auch.
Carl
20
@Sycorax und tiefes Lernen, wenn Sie vervierfachen möchten
Franck Dernoncourt
11
@FranckDernoncourt „Ich bin ein Datum Wissenschaftler tief Lernen in großer Datenumgebung zu maschinellem Lernen Probleme zu lösen“ klingt wie ein schöner Kopf für LinkedIn - Profil;)
Tim

Antworten:

78

Beantworten Sie Ihre Frage mit einer Frage: Was genau ist maschinelles Lernen? Trevor Hastie, Robert Tibshirani und Jerome Friedman über die Elemente des statistischen Lernens , Kevin P. Murphy über das maschinelle Lernen aus probabilistischer Sicht , Christopher Bishop über die Mustererkennung und das maschinelle Lernen , Ian Goodfellow, Yoshua Bengio und Aaron Courville über das vertiefte Lernen und eine Reihe von Andere "Bibeln" des maschinellen Lernens erwähnen die lineare Regression als einen der "Algorithmen" des maschinellen Lernens. Maschinelles Lernen ist teilweise ein Schlagwort für angewandte Statistik, und die Unterscheidung zwischen Statistik und maschinellem Lernen ist häufig unscharf.

Tim
quelle
4
Es stimmt, aber sie sind größtenteils isolierte Disziplinen mit großen Mengen nicht überlappender Literatur, Methoden und Algorithmen. In der heutigen Welt des maschinellen Lernens sind Daten- und Informatikabsolventen statistischen Bewerbern in Bezug auf Finanzierung, Stipendien und Job-Opps weit voraus, wie Sie es nennen.
Mike Hunter
6
@ DJohnson so ist es Statistiken mit neuen Paket angewendet, zu einem höheren Preis verkauft ..? Ich glaube nicht , dass die Tatsache, dass es trendy ist, es zu einem Modewort macht. Die Bayes'schen Statistiken haben auch ihre eigenen Methoden, Tagebücher, Konferenzen, Handbücher und Anwendungen, die sich teilweise nicht mit der klassischen Statistik überschneiden. Ist dies eine Disziplin, die sich von der Statistik unterscheidet?
Tim
3
Jep. Ich habe es versäumt, meine Beobachtung über ML-Praktizierende mit der allgemeineren Beobachtung einzuschränken, dass abgedroschene, eng fokussierte Praktizierende in allen Bereichen und Berufen verbreitet sind, nicht nur in ML. Es ist eine Art Berufsrisiko - lesen Sie menschliches Versagen -, dass Menschen blind für Informationen werden, die außerhalb ihrer unmittelbaren Bedürfnisse und Interessen liegen. CV ist keine Ausnahme.
Mike Hunter
23
(+1) Ich stimme zu, dass es keine klare Unterscheidung gibt. In dem Maße, in dem ich an Unterschiede denke, würde ich ML in der Regel eher als Vorhersagen und Statistiken eher als Parameterinferenz betrachten (z. B. wäre ein experimenteller Entwurf für die Modellierung der Reaktionsoberfläche nicht typisch für ML?). In diesem Sinne wäre das OP-Beispiel - bei dem die Regressionskoeffizienten am wichtigsten zu sein scheinen - eher "statistisch" (?)
GeoMatt22
3
Siehe auch Die beiden Kulturen von Leo Breiman, die dem von @ GeoMatt22: ML ähneln, konzentrieren sich auf genaue Vorhersagen. Ob das Modell wahr ist, ist nicht wichtig. Die klassische Statistik sucht in gewisser Weise nach dem "wahren" Modell oder zumindest nach einem Modell, das einen Einblick in die Prozesse gibt, die die Daten erzeugt haben.
Peter
41

Die lineare Regression ist definitiv ein Algorithmus, der beim maschinellen Lernen verwendet werden kann. Aber, reductio ad absurdum : Jeder mit einer Kopie von Excel kann ein lineares Modell anpassen.

Selbst wenn wir uns auf lineare Modelle beschränken, gibt es noch ein paar Dinge zu beachten, wenn wir maschinelles Lernen diskutieren:

  • Maschinelles Lernen bei geschäftlichen Problemen kann viel mehr Daten beinhalten. " Big Data ", wenn Sie das Schlagwort verwenden möchten. Das Bereinigen und Aufbereiten der Daten erfordert möglicherweise mehr Arbeit als die eigentliche Modellierung. Und wenn das Datenvolumen die Kapazität einer einzelnen Maschine zur Verarbeitung übersteigt, sind die technischen Herausforderungen ebenso bedeutend wie die statistischen Herausforderungen. (Faustregel: Wenn es in den Hauptspeicher passt, handelt es sich nicht um Big Data).
  • Maschinelles Lernen beinhaltet oft viel mehr erklärende Variablen (Merkmale) als herkömmliche statistische Modelle. Vielleicht Dutzende, manchmal sogar Hunderte von ihnen, von denen einige kategorische Variablen mit vielen Ebenen sein werden. Wenn diese Features potenziell interagieren können (z. B. in einem Kreuzeffektmodell), wächst die Anzahl der potenziellen Modelle, die angepasst werden müssen, schnell.
  • Der Praktiker des maschinellen Lernens befasst sich in der Regel weniger mit der Bedeutung einzelner Merkmale als vielmehr mit dem Auspressen einer möglichst großen Vorhersagekraft aus einem Modell, je nachdem, welche Kombination von Merkmalen dies bewirkt. (P-Werte sind mit Erklärung verbunden, nicht mit Vorhersage.)
  • Mit einer großen Anzahl von Merkmalen und verschiedenen Möglichkeiten, diese Merkmale zu konstruieren, wird die Modellauswahl von Hand unmöglich. Meiner Meinung nach besteht die eigentliche Herausforderung beim maschinellen Lernen in der automatisierten Auswahl von Features (Feature Engineering) und anderen Aspekten der Modellspezifikation. Bei einem linearen Modell gibt es verschiedene Möglichkeiten, normalerweise Varianten der Brute Force. einschließlich schrittweiser Regression, Rückbeseitigung usw., die wiederum erhebliche Rechenleistung erfordern. (Zweite Faustregel: Wenn Sie Features von Hand auswählen, werden Statistiken erstellt, nicht maschinelles Lernen).
  • Wenn Sie viele Modelle automatisch mit vielen Funktionen ausstatten, ist eine Überanpassung ein ernstes potenzielles Problem. Die Bewältigung dieses Problems erfordert häufig eine Form der Kreuzvalidierung : dh noch mehr Brute-Force-Berechnung!

Aus meiner Sicht lautet die kurze Antwort: Wenn maschinelles Lernen von der herkömmlichen statistischen Modellierung abweicht, liegt dies in der Anwendung von Brute Force und numerischen Ansätzen zur Modellauswahl, insbesondere in Bereichen mit einer großen Datenmenge und einer großen Anzahl erklärender Variablen mit Schwerpunkt auf Vorhersagekraft, gefolgt von mehr Brute Force für die Modellvalidierung.

david25272
quelle
2
Ich mag diese Unterscheidung im Allgemeinen. Wird Kreuzvalidierung jedoch jemals in "statistischen" Modellen verwendet oder ist dies selten erforderlich, da sie normalerweise von Hand durchgeführt werden? Wird Feature Engineering dann als Statistik betrachtet, wie es von Hand durchgeführt wird?
Josh
3
@josh, ja, das kann sein. Wenn Sie sich jedoch das Kreuzvalidierungskennzeichen ansehen, beziehen sich fast alle Fragen auf die prädiktive Modellierung.
David25272
@ david25272 Ich wäre gespannt, wie Sie über Bootstrap, .632+ Bootstrap und Permutationstests denken. Ich habe sie immer als mehr "angewandte Statistik" als "maschinelles Lernen" betrachtet, weil sie so sind motiviert, aber sie sind ähnlich "brute-force" wie k-fold oder k-out cross-validation. Ich denke, die L1-Regularisierung kann auch als eine Art Merkmalsauswahl innerhalb eines statistischen Rahmens angesehen werden ...
Patrick B.
@Patrick stats.stackexchange.com/questions/18348 ist eine bessere Antwort auf die Verwendung von Bootstapping für die Modellvalidierung, als ich geben könnte.
David25272
@ david25272 ah, sorry, meine frage war eher, ob du sie als "maschinelles lernen" techniken oder "angewandte statistik" techniken ansiehst, da sie statistisch motiviert sind aber auch "brute force". Ich bin mit der Verwendung von vorspannungskorrigierten Bootstraps für die Modellvalidierung vertraut.
Patrick B.
14

Ich denke, Mitchells Definition bietet eine hilfreiche Grundlage für die Diskussion über maschinelles Lernen, eine Art erstes Prinzip. Wie auf Wikipedia wiedergegeben :

Ein Computerprogramm soll aus Erfahrung E in Bezug auf eine Klasse von Aufgaben T und ein Leistungsmaß P lernen, wenn sich seine Leistung bei Aufgaben in T, gemessen durch P, mit Erfahrung E verbessert.

Dies ist in mehrfacher Hinsicht hilfreich. Zunächst zu Ihrer unmittelbaren Frage: Regression ist maschinelles Lernen, wenn es seine Aufgabe ist, in einigen Anwendungen einen geschätzten Wert aus Vorhersagefunktionen zu ermitteln. Die Leistung sollte sich verbessern, gemessen am gemittelten Quadrat (oder absoluten Fehler usw.), wenn mehr Daten vorliegen.

Zweitens hilft es dabei, maschinelles Lernen anhand verwandter Begriffe und seine Verwendung als Marketing-Schlagwort abzugrenzen. Vergleichen Sie die obige Aufgabe mit einer standardmäßigen inferentiellen Regression, bei der ein Analyst Koeffizienten für signifikante Beziehungen interpretiert. Hier gibt das Programm eine Zusammenfassung zurück: Koeffizienten, p-Werte usw. Man kann nicht sagen, dass das Programm diese Leistung mit Erfahrung verbessert; die aufgabe ist eine aufwändige berechnung.

Schließlich hilft es, maschinelles Lernen in Teilfeldern zu vereinheitlichen, die üblicherweise in einleitenden (überwachten, unbeaufsichtigten) Expositionen mit anderen wie dem Lernen von Bestärkungen oder der Dichteschätzung verwendet werden. (Jeder hat eine Aufgabe, ein Leistungsmaß und ein Erfahrungskonzept, wenn man genug darüber nachdenkt.) Ich denke, es liefert eine umfassendere Definition, die hilft, die beiden Bereiche abzugrenzen, ohne sie unnötig zu reduzieren. Beispielsweise ignoriert "ML ist für Vorhersage, Statistik für Inferenz" sowohl Techniken des maschinellen Lernens außerhalb des überwachten Lernens als auch statistische Techniken, die sich auf Vorhersage konzentrieren.

Sean Easter
quelle
12

Es gibt kein Gesetz, das besagt, dass ein Tischler keine Fassmachersäge verwenden kann.

Maschinelles Lernen und Statistik sind vage Bezeichnungen, aber wenn sie gut definiert sind, gibt es eine große Überschneidung zwischen Statistik und maschinellem Lernen. Dies gilt sowohl für Methoden dieser beiden Bereiche als auch (getrennt) für Personen, die sich mit diesen beiden Bereichen auszeichnen. Maschinelles Lernen liegt aber in der Mathematik ganz im Bereich der Statistik.

Die lineare Regression ist ein sehr gut definiertes mathematisches Verfahren. Ich neige dazu, es mit dem Bereich der Statistik zu assoziieren und mit Personen, die sich selbst als "Statistiker" bezeichnen, und mit Personen, die aus akademischen Programmen mit Labels wie "Statistik" hervorgehen. SVM (Support Vector Machines) ist ebenfalls eine sehr gut definierte mathematische Prozedur, die einige ähnliche Ein- und Ausgänge hat und ähnliche Probleme löst. Aber ich neige dazu, es mit dem Bereich des maschinellen Lernens und mit Leuten, die sich Informatiker nennen, oder mit Leuten, die in künstlicher Intelligenz oder maschinellem Lernen arbeiten, in Verbindung zu bringen, die tendenziell als Teil der Informatik als Disziplin betrachtet werden.

Einige Statistiker verwenden jedoch möglicherweise SVM, und einige KI-Mitarbeiter verwenden logistische Regression. Um es klar auszudrücken, es ist wahrscheinlicher, dass ein Statistiker oder KI-Forscher eine Methode entwickelt , als sie tatsächlich in die Praxis umzusetzen.

Ich habe alle Methoden des maschinellen Lernens direkt in den Bereich der Statistik gestellt. Auch solche neueren Dinge wie Deep Learning, RNNs, CNNs, LSTMs, CRFs. Ein angewandter Statistiker (Biostatistiker, Agronom) ist möglicherweise nicht mit ihnen vertraut. Dies sind alles Vorhersagemodellierungsmethoden, die normalerweise als "maschinelles Lernen" bezeichnet werden und selten mit Statistiken in Verbindung gebracht werden. Sie sind jedoch Vorhersagemodelle mit der Maßgabe, dass sie mit statistischen Methoden beurteilt werden können.

Am Ende der logistische Regression muss Teil des maschinellen Lernens betrachtet werden.

Aber ja, ich sehe und teile oft Ihre Abneigung gegen die falsche Anwendung dieser Wörter. Lineare Regression ist ein so grundlegender Bestandteil der sogenannten Statistik, dass es sich sehr seltsam und irreführend anfühlt, sie als "maschinelles Lernen" zu bezeichnen .

Zur Veranschaulichung ist die logistische Regression mathematisch mit einem Deep Learning-Netzwerk ohne versteckte Knoten und der logistischen Funktion als Aktivierungsfunktion für den einzelnen Ausgabeknoten identisch. Ich würde logistische Regression nicht als maschinelles Lernen bezeichnen, aber sie wird sicherlich in maschinellen Lernkontexten verwendet.

Es ist meist eine Frage der Erwartung.

A: "Ich habe maschinelles Lernen verwendet, um die Rückübernahme in ein Krankenhaus nach einer Herzoperation vorherzusagen."

B: "Oh ja? Deep Learning? Zufällige Wälder? !!?"

A: "Oh nein, nichts Besonderes, nur logistische Regression."

B: sehr enttäuscht aussehen .

Es ist, als würde man sagen, wenn man ein Fenster mit Wasser wäscht, dass man Quantenchemie verwendet. Nun ja, sicher, das ist technisch nicht falsch, aber Sie implizieren viel mehr als nötig.

Aber wirklich, das ist genau ein Kulturunterschied gegen einen Substanzunterschied. Die Konnotationen eines Wortes und Assoziationen mit Gruppen von Menschen (LR ist absolut nicht ML!) Im Vergleich zu Mathematik und Anwendungen (LR ist absolut ML!).

Mitch
quelle
3
Die logistische Regression ist den SVMs sowohl praktisch als auch theoretisch sehr ähnlich: web.stanford.edu/~hastie/Papers/svmtalk.pdf
Patrick B.,
3

Gemeinsame Ansicht ist, dass maschinelles Lernen aus 4 Bereichen besteht:

1) Dimensionsreduktion

2) Clustering

3) Klassifizierung

4) Regression

Lineare Regression ist eine Regression. Sobald das Modell trainiert ist, kann es wie jedes andere für Vorhersagen verwendet werden, beispielsweise für die zufällige Waldregression.

Akavall
quelle
Es gibt tatsächlich einen Unterschied, obwohl die lineare Regression durch maschinelles Lernen gelöst werden kann. Ein übliches Regressionsziel sind gewöhnliche kleinste Fehlerquadrate, was bedeutet, dass unsere Zielverlustfunktion, die Summe der quadratischen Residuen, minimiert werden soll. Maschinelles Lernen würde sich nun einfach auf die Methode beziehen, mit der wir eine Verlustfunktion minimieren.
Carl
Konzeptionell wählt die lineare Regression über Gradientenabstieg (Lernen) also immer bessere summierte quadratische Residuen (Verlustfunktion). Die Grundkonzepte sind die gleichen wie für viel fortgeschrittenere Lernalgorithmen, wie beispielsweise neuronale Netze. Diese Algorithmen ersetzen einfach das lineare Modell durch ein viel komplexeres Modell - und entsprechend eine viel komplexere Kostenfunktion. .
Carl
1
Die Antwort auf die OP-Frage: Wann ist lineares maschinelles Regressionslernen, anstatt einfach eine Linie zu finden, die am besten passt? Wenn eine lineare Regression unter Verwendung eines definierbaren Elements des maschinellen Lernens durchgeführt wird, wie z. B. Gradientenabstieg , wird eine lineare Regression unter Verwendung des maschinellen Lernens durchgeführt.
Carl
5
@ Carl, das Problem hier, dass "maschinelles Lernen" definiert. Wenn wir ein statistisches Modell verwenden können und dieses Modell die Fähigkeit haben würde, vorherzusagen, dass es maschinelles Lernen ist. Dabei spielt es keine Rolle, mit welchem ​​Ansatz die Koeffizienten des Modells ermittelt wurden.
Akavall
1
Ich fand Akavalls Antwort ziemlich klar. Ich glaube, dass Akavalls Problem darin besteht, dass die Definition, die Sie präsentieren, zirkulär ist, weil sie auf "F: Wann zählt Technik X als 'maschinelles Lernen'? A: Wenn Technik X unter Verwendung eines definierbaren Elements des maschinellen Lernens durchgeführt wird." (Leider verstehe ich den zweiten Punkt, den Sie machen, nicht, so dass ich darauf nicht antworten kann.)
Patrick B.
2

Lineare Regression ist eine Technik, während maschinelles Lernen ein Ziel ist, das mit verschiedenen Mitteln und Techniken erreicht werden kann.

Die Regressionsleistung wird also daran gemessen, wie genau sie zu einer erwarteten Linie / Kurve passt, während das maschinelle Lernen daran gemessen wird, wie gut es ein bestimmtes Problem mit den erforderlichen Mitteln lösen kann.

Hoffentlich hilfreich
quelle
2

Ich werde argumentieren, dass der Unterschied zwischen maschinellem Lernen und statistischer Inferenz klar ist. Kurz gesagt, maschinelles Lernen = Vorhersage zukünftiger Beobachtungen; Statistik = Erklärung.

Hier ist ein Beispiel aus meinem Interessengebiet (Medizin): Bei der Entwicklung eines Arzneimittels suchen wir nach Genen, die einen Krankheitszustand am besten erklären, mit dem Ziel, ihn / sie mit dem Arzneimittel in den Griff zu bekommen. Dafür verwenden wir Statistiken. Im Gegensatz dazu besteht das Ziel bei der Entwicklung diagnostischer Tests, zum Beispiel bei der Vorhersage, ob das Medikament einem Patienten hilft, darin, den besten Prädiktor für das zukünftige Ergebnis zu finden, auch wenn es viele Gene umfasst und zu kompliziert ist, um es zu verstehen. Zu diesem Zweck setzen wir maschinelles Lernen ein. Es gibt mehrere veröffentlichte Beispiele [1], [2], [3], [4], die zeigen, dass das Vorhandensein des Arzneimitteltargets kein guter Prädiktor für das Behandlungsergebnis ist, daher die Unterscheidung.

Auf dieser Grundlage kann man durchaus sagen, dass man maschinelles Lernen betreibt, wenn das Ziel darin besteht, das Ergebnis zukünftiger / zuvor nicht gesehener Beobachtungen genau vorherzusagen. Wenn das Ziel darin besteht, ein bestimmtes Phänomen zu verstehen, dann ist das statistische Folgerung, nicht maschinelles Lernen. Wie bereits erwähnt, gilt dies unabhängig von der verwendeten Methode.

Um Ihre Frage zu beantworten: In der spezifischen Untersuchung, die Sie beschreiben, haben die Wissenschaftler die Faktorenrollen (Gewichte) in verschiedenen linearen Regressionsmodellen verglichen und nicht die Modellgenauigkeiten. Daher ist es nicht genau, ihre Schlussfolgerung als maschinelles Lernen zu bezeichnen.

[1] Messersmith WA, Ahnen DJ. Targeting EGFR bei Darmkrebs. Das New England Journal of Medicine; 2008; 359; 17.

[2] Pogue-Geile KL et al. Vorhersage des Nutzens von Adjuvans Trastuzumab in der NSABP-Studie B-31. J Natl Cancer Inst; 2013; 105: 1782 & ndash; 1788.

[3] Pazdur R. FDA-Zulassung für Vemurafenib. https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib . Aktualisiert am 3. Juli 2013.

[4] Ray T. Zwei ASCO-Studien zeigen die Herausforderung, MET-Signale als prädiktiven Marker in NSCLC-Arzneimittelstudien einzusetzen. GenomeWeb, 11. Juni 2014.

ljubomir
quelle
7
Ich bin damit einverstanden, dass die Forschung zum maschinellen Lernen den Vorhersagen eine viel größere Bedeutung beimisst als der Parameterschätzung. Aber das ist keine klare Trennlinie: Die Statistikforschung ist reich an Vorhersagemethoden.
Cliff AB
4
Was ist also mit Statistikern , die Vorhersagen getroffen haben, bevor es Computer gab (oder die allgemein verfügbar waren)? Wendeten sie maschinelles Lernen mit Papier und Bleistift an ?!
Tim
1
@ Tim: sehr gutes Argument. Ich glaube, die Antwort ist ja, wenn sie sich auf zukünftige Beobachtungen konzentrieren, obwohl ich in diesen (seltenen) Fällen anerkenne, dass der Name statistisches Lernen geeigneter wäre. Mit dem Aufkommen der Computer wurde der Begriff maschinelles Lernen immer beliebter. Der Punkt ist nicht der Name, noch die Verwendung von Computern; es ist die Klarheit des Zwecks. Meiner Ansicht nach ist es fast unmöglich, sowohl die genaue Vorhersage bisher nicht gesehener Beobachtungen als auch das Verständnis des Phänomens erfolgreich zu optimieren . Besser, sich angemessen zu konzentrieren.
Ljubomir
4
Die Vorhersage von Zeitreihen (Vorhersage der zukünftigen Beobachtung) war lange Zeit ein beliebtes Problem in der Statistik (und Ökonometrie), daher stimme ich einer darauf basierenden klaren Unterscheidung nicht zu.
Richard Hardy
1
Diese Antwort ist falsch. Vorhersage ist nur ein kleiner Teil des maschinellen Lernens. Statistiker machen auch Vorhersagen. Es ist zwar schwierig, zwischen maschinellem Lernen und Statistik zu unterscheiden, aber dies ist definitiv nicht der richtige Weg.
Robguinness
2

Es kann nützlich sein, lineares maschinelles Regressionslernen zu nennen, da dies im Allgemeinen einige wichtige Dinge zur Lösung Ihres Problems mit sich bringt:

  1. Sie haben entschieden, dass es nicht notwendig ist, kausale Annahmen und frühere Theorien hinter Ihren erklärenden Variablen zu überprüfen. Es signalisiert, dass Ihr Modell nicht zur Erklärung, sondern zur Vorhersage gedacht war. Dies ist in vielen Situationen durchaus sinnvoll, zum Beispiel bei der Vorhersage von E-Mail-Spam anhand von Schlüsselwörtern. Es gibt nicht wirklich viel Literatur, in der Wörter Spam vorhersagen, und es gibt so viele Wörter, dass es keinen Sinn macht, die theoretische Bedeutung jedes Wortes zu überdenken
  2. Sie haben nicht nach variabler Signifikanz gesucht oder p-Werte verwendet, sondern haben sich stattdessen wahrscheinlich für ein Holdout-Set oder eine Kreuzvalidierung entschieden, um die prädiktive Leistung außerhalb der Stichprobe zu bewerten. Dies kann durchaus zutreffen, wenn Sie - zurück zum Beispiel für E-Mail-Spam - nur ein Modell erstellen, das Spam effektiv vorhersagt, auch wenn dies zu Lasten der Einbeziehung von Variablen geht, die möglicherweise keine herkömmlichen Signifikanztests bestehen.

Wenn Ihr Modell jedoch eher zur Erklärung als zur Vorhersage gedacht ist und Sie die theoretischen Kausalannahmen Ihres Modells usw. genau prüfen, ist es ziemlich albern, es maschinelles Lernen zu nennen.

Ryan Zotti
quelle
2

Zugegeben, jede Antwort auf diese Frage ist mehr eine Meinung als eine objektive Tatsache, aber ich werde versuchen, meine Logik darzulegen, warum ich denke, dass die Antwort niemals ist . Ein sogenannter Experte oder Ausbilder für maschinelles Lernen offenbart seine Ignoranz nur, indem er die lineare Regression als solche darstellt.

Bei der Abgrenzung von akademischen Disziplinen geht es mehr um die Abgrenzung von Gemeinschaften als um Methoden. Wissenschaftliche Disziplinen leihen Methoden über alle Disziplinen hinweg aus. Auch im 19. Jahrhundert (als die lineare Regression entwickelt wurde) und davor waren die wissenschaftlichen Disziplinen nicht so klar abgegrenzt wie heute. Insbesondere wenn Methoden im 19. Jahrhundert oder früher entwickelt wurden, sollten wir darauf achten, sie einer bestimmten Disziplin zuzuordnen.

Davon abgesehen kann man sich die Geschichte einer Disziplin ansehen und vernünftigerweise den Schluss ziehen, dass bestimmte Methoden zu der einen oder anderen Disziplin "gehören". Niemand würde heute sagen, dass der Kalkül zum Gebiet der Physik gehört, obwohl Newton, der einer der Erfinder des Kalküls war, definitiv versuchte, dies auf die Physik anzuwenden. Kalkül gehört eindeutig zur Disziplin der Mathematik, nicht der Physik. Dies liegt daran, dass der Kalkül eine allgemeine mathematische Methode ist, die vollständig außerhalb eines physikalischen Kontexts verwendet werden kann.

Aus dem gleichen Grund gehört die lineare Regression zur Disziplin der Statistik, obwohl sie häufig als einfaches Beispiel für die Anpassung von Daten an ein Modell im Kontext des maschinellen Lernens verwendet wird. So wie der Kalkül außerhalb des physikalischen Kontextes verwendet werden kann (und wird), kann die lineare Regression auch außerhalb des Kontextes des maschinellen Lernens verwendet werden.

Kursleiter für maschinelles Lernen sollten darauf hinweisen, dass die lineare Regression bereits seit dem späten 19. Jahrhundert angewendet wird, lange bevor der moderne Begriff des maschinellen Lernens eingeführt wurde. Sie sollten auch betonen, dass beim maschinellen Lernen viele Konzepte aus Wahrscheinlichkeit und Statistik sowie anderen Disziplinen (z. B. Informationstheorie) verwendet werden. Diese Konzepte repräsentieren jedoch selbst kein maschinelles Lernen oder einen "Algorithmus" des maschinellen Lernens.

Robguinness
quelle
1

Es ist die Maschine, Dummkopf!

Ich bin weder Statistiker noch Experte für Big Data (TM). Ich würde jedoch sagen, dass der wesentliche Unterschied darin besteht, dass "maschinelles Lernen" "eine Maschine" erfordert. Insbesondere impliziert es Agentur . Das Ergebnis wird von einem Menschen nicht gemächlich verzehrt. Das Ergebnis ist vielmehr die Eingabe in einen geschlossenen Kreislauf, durch den ein automatisiertes System seine Leistung verbessert.

Geschlossenes System

Dies stimmt weitgehend mit der Antwort von Sean Easter überein, aber ich möchte nur betonen, dass in kommerziellen Anwendungen eine Maschine die Ergebnisse betrachtet und darauf reagiert . Ein klassisches Beispiel ist der CineMatch-Algorithmus, der das Ziel des Netflix-Preises war. Ein Mensch könnte sich die Ausgabe von CineMatch ansehen und interessante Funktionen über Filmzuschauer erfahren. Aber das ist nicht der Grund, warum es existiert. Der Zweck von CineMatch besteht darin, einen Mechanismus bereitzustellen, mit dem Netflix- Server Kunden Filme vorschlagen können, die sie genießen möchten . Die Ausgabe des statistischen Modells fließt in den Empfehlungsdienst, der letztendlich mehr Eingaben erzeugt, wenn Kunden Filme bewerten, von denen einige auf Empfehlung von CineMatch ausgewählt wurden.

Offenes System

Wenn andererseits ein Forscher einen Algorithmus verwendet, um statistische Ergebnisse zu erzeugen, die in einer Präsentation für andere Menschen angezeigt werden, dann befasst sich dieser Forscher entschieden nicht mit maschinellem Lernen . Das ist für mich ganz offensichtlich menschliches Lernen . Die Analyse wird von einer Maschine durchgeführt, aber es ist keine Maschine, die per se lernt . Nun ist es "maschinelles Lernen", in dem Maße, als ein menschliches Gehirn nicht alle Probeneingaben erfuhr und die statistischen Ergebnisse "biologisch" ableitete. Aber ich würde es "Statistik" nennen, weil dies genau das ist, was Statistiker tun, seit das Feld erfunden wurde.

Fazit

Daher würde ich diese Frage beantworten, indem ich frage: "Wer verbraucht die Ergebnisse?" Wenn die Antwort lautet: "Menschen", dann ist es "Statistik". Wenn die Antwort lautet: "Software", dann ist es "maschinelles Lernen". Und wenn wir sagen, dass "Software die Ergebnisse konsumiert", bedeutet das nicht, dass sie sie irgendwo für einen späteren Abruf speichert. Wir meinen, dass es ein Verhalten ausführt, das durch die Ergebnisse in einer geschlossenen Schleife bestimmt wird .

Rasenmäher Mann
quelle
8
Dies ist ein vernünftiger Punkt, aber ich denke, in der Praxis werden ML-Modelle oft an Leute weitergegeben, mit denen sie interpretiert und gearbeitet werden können.
gung
1
Ich würde sagen, das liegt daran, dass ML als Feld eine Vielzahl nützlicher Tools hervorgebracht hat, die von Statistikern für Marketingzwecke eingesetzt werden, auch wenn sie sich nicht so nennen wollen. ;)
Rasenmäher Man
Ich bin mit @gung einverstanden. Ähnlich wie bei anderen Antworten stimme ich zu, dass dies häufiger die Motivation für Menschen ist, die sich "ML-Forscher" nennen. Dies ist definitiv keine definierende Linie. Zwei Gegenbeispiele: Empfehlungssysteme gelten als ML-Forschungsgebiet, die Ergebnisse werden jedoch direkt an einen Menschen weitergegeben. Kalman-Filter werden sehr oft in der Navigation für Autopiloten verwendet, ohne dass ein Mensch in der Schleife ist, werden jedoch normalerweise als statistische Methode angesehen.
Cliff AB
-1

Meiner Meinung nach kann man von maschinellem Lernen sprechen, wenn eine Maschine so programmiert ist, dass sie anhand einiger Daten auf Parameter eines Modells schließen kann.

Wenn eine lineare Regression maschinell durchgeführt wird, ist sie daher qualifiziert.

Wenn von Hand gemacht, dann nicht.

Definitionen, die von der Prävalenz eines Agenten (wie Excel) oder von einer iterativen Verbesserung (wie Sean Easter oben vorschlägt) abhängen , sich irgendwie von Statistiken zu trennen versuchen oder davon abhängen, was mit den Ergebnissen geschehen soll, werden sich meiner Meinung nach als inkonsistent erweisen.

Ytsen de Boer
quelle
3
Wenn Sie also die Regression oder kNN oder den Entscheidungsbaum mit Papier und Bleistift berechnen und die gleichen Ergebnisse erzielen, wie sie am Computer berechnet wurden, wäre dies im ersten Fall ein maschinelles Lernen und im zweiten Fall nicht. Wenn Sie andererseits einen Computer verwenden, um zufällig einige Werte als "Parameter" Ihres Modells zuzuweisen, würden Sie es als maschinelles Lernen qualifizieren, da es von einer Maschine durchgeführt wurde? Diese Definition scheint nicht viel Sinn zu haben ...
Tim
Man kann es kaum maschinelles Lernen nennen, wenn man keine Maschine benutzt. Es ist schließlich die Maschine, die lernt. Und ich habe tatsächlich Modelle implementiert, die ihre Parameter durch einen zufälligen (Monte Carlo) Prozess "gelernt" haben. Ich muss jedoch zugeben, dass danach ein Validierungsschritt durchgeführt wurde.
Ytsen de Boer
2
Algorithmen wie Support Vector Machines werden aus historischen Gründen als "Maschinen" bezeichnet, da die Leute in den frühen Tagen tatsächliche Maschinen / Computer bauen mussten, um sie auszuführen ( stats.stackexchange.com/questions/261041/… ), es hat nichts zu tun tun mit "Algorithmen, die auf Maschinen ausgeführt werden". Zudem Zeitreihenmodelle wie ARIMA sind nicht im Rahmen des maschinellen Lernens, aber Statistiken, und sie sind auf Computern ausgeführt.
Tim