Warum wird logistische Regression als Algorithmus für maschinelles Lernen bezeichnet?

19

Wenn ich in einem maschinellen Lernalgorithmus richtig verstanden habe, muss das Modell aus seiner Erfahrung lernen, dh wenn das Modell die falsche Vorhersage für die neuen Fälle liefert, muss es sich an die neuen Beobachtungen anpassen und mit der Zeit wird das Modell immer besser . Ich sehe nicht, dass die logistische Regression dieses Merkmal aufweist. Warum wird es immer noch als Algorithmus für maschinelles Lernen angesehen? Was ist der Unterschied zwischen logistischer Regression und normaler Regression beim "Lernen"?

Ich habe die gleiche Frage für zufällige Wälder!

Und was ist die Definition von "maschinellem Lernen"?

Metariat
quelle
4
Ich habe Ihre Frage aus Gründen der grammatikalischen Klarheit bearbeitet, bin mir aber nicht sicher, was Sie insgesamt meinen ... Die logistische Regression fällt unter ML, da es sich um einen Klassifizierungsalgorithmus handelt. Maschinelles Lernen bedeutet nicht, dass der Algorithmus adaptiv sein muss (obwohl es Algorithmen gibt, die aus neuen Beobachtungen lernen). Anpassung ist eher eine Wahl der Implementierung, die normalerweise durch generative maschinelle Lernalgorithmen erreicht wird, die die Gelenkwahrscheinlichkeit modellieren.
Zhubarb
12
"Maschinelles Lernen" ist ein eher lose definiertes Konzept. Wirklich, alle statistischen Verfahren, die die Anpassung eines Modells beinhalten, können als maschinelles Lernen betrachtet werden. (Vorausgesetzt, die Modellanpassung kann zum Teil über einen Computer erfolgen!) Aus diesem Grund sind einige Statistiker frustriert über "Big Data", "Maschinelles Lernen" usw. Die Communitys machen sich Gedanken darüber, was Statistik ist (und was nicht!)
P.Windridge,
1
@ P.Windridge: Wenn "alle statistischen Verfahren, die das Anpassen eines Modells beinhalten, als maschinelles Lernen betrachtet werden können", kann ich nicht
nachvollziehen,
4
@XuanQuangDO Wir sollten wahrscheinlich nicht zwischen maschinellem Lernen und Statistik unterscheiden.
Sycorax sagt Reinstate Monica

Antworten:

21

Maschinelles Lernen ist kein genau definierter Begriff.

In der Tat, wenn Sie Google "Machine Learning Definition" die ersten beiden Dinge, die Sie bekommen, sind ganz anders.

Von WhatIs.com ,

Maschinelles Lernen ist eine Art künstliche Intelligenz (KI), mit der Computer lernen können, ohne explizit programmiert zu werden. Maschinelles Lernen konzentriert sich auf die Entwicklung von Computerprogrammen, die sich aneignen können, zu wachsen und sich zu verändern, wenn sie neuen Daten ausgesetzt werden.

Aus Wikipedia ,

Maschinelles Lernen befasst sich mit der Konstruktion und Untersuchung von Algorithmen, die aus Daten lernen und Vorhersagen treffen können.

Die logistische Regression passt zweifellos zur Wikipedia-Definition, und Sie könnten darüber streiten, ob sie zur WhatIs-Definition passt oder nicht.

Ich persönlich definiere Maschinelles Lernen genauso wie Wikipedia und betrachte es als eine Untergruppe von Statistiken.

TrynnaDoStat
quelle
1
Ich stimme den meisten Ihrer Aussagen zu, außer dass es sich um eine Untergruppe von Statistiken handelt. Es hat eine große Überschneidung, aber es gibt Lerntypen, wie zum Beispiel das verstärkte Lernen, die nicht wirklich als Teilmenge der Statistik angesehen werden können.
George
2
Das sind keine guten Quellen.
Neil G
@George Richtig, aber seien wir ehrlich, wenn Sie alle Datenerfassungs-, Analyse- und Modellierungsmethoden, ob maschinelles Lernen, überwacht oder unbeaufsichtigt, parametrisch oder nichtparametrisch, mit einem Label versehen müssten, dann wären das alles Statistiken. ML ist ein Fachgebiet für Statistik.
RobertF
@ RobertF Ich bin anderer Meinung. Maschinelles Lernen ist der Bereich, in dem untersucht wird, wie Maschinen lernen können. Ich bin damit einverstanden, dass die meisten in ML verwendeten Methoden als statistische Methoden betrachtet werden können, aber das Feld ist von Natur aus kein Teilfeld der Statistik. Ich glaube beispielsweise nicht, dass Markov-Entscheidungsprozesse als statistische Methoden angesehen werden.
George
1
@ George Diskrete Zeit Markov-Modelle sind Wahrscheinlichkeitsmodelle. Sobald Sie unbekannte Parameter eines Wahrscheinlichkeitsmodells (z. B. Markov-Entscheidungsprozesse) schätzen, ist dies die Lehrbuchdefinition eines statistischen Verfahrens. Ich denke, die Hauptklasse von Aktivitäten, die als ML und nicht als Statistik bezeichnet werden können, sind spezifische Anwendungen, wie der Bau eines Roboters, der Schach spielt. Die zugrunde liegenden Algorithmen beinhalten zweifellos Wahrscheinlichkeit und Statistik, aber die Anwendung ist nicht wirklich "Statistik". Ähnlich wie in der Genomforschung werden Statistiken häufig verwendet, aber es handelt sich eindeutig um andere Bereiche.
Ahfoss
20

Maschinelles Lernen ist heiß und dort, wo das Geld ist. Die Leute nennen Dinge, die sie verkaufen wollen, was gerade heiß ist, und "verkaufen" daher. Das kann der Verkauf von Software sein. Das kann sein, dass sie sich als aktuelle Mitarbeiter verkaufen, die befördert werden möchten, als potenzielle Mitarbeiter, als Berater usw. Das kann ein Manager sein, der versucht, das Budget einer Bigwig-Firma zu genehmigen, um Leute einzustellen und Sachen zu kaufen, oder um Investoren davon zu überzeugen, in etwas zu investieren sein / ihr heißes neues Startup, das Maschinelles Lernen als Schlüssel zur Entwicklung einer verbesserten Sexting-App nutzt. Software macht also maschinelles Lernen und die Leute sind Experten für maschinelles Lernen, denn das ist es, was heiß ist und sich deshalb verkauft ... zumindest für den Moment.

Ich habe vor mehr als 30 Jahren alle Arten von linearen und nichtlinearen statistischen Modellen angepasst. Es hieß damals nicht Maschinelles Lernen. Jetzt wäre das meiste davon.

So wie jeder und sein Onkel jetzt ein Data "Scientist" ist. Das ist heiß, das ist angeblich sexy, also nennen sich die Leute so. Und genau das ist es, was Personalchefs tun, denen das Budget bewilligt werden muss, um jemanden einzustellen, der Positionen als auflistet. Jemand, der sich nicht mit Mathematik, Wahrscheinlichkeit, Statistik, Optimierung oder numerischen / Gleitkommaberechnungen auskennt, verwendet ein R- oder Python-Paket mit zweifelhafter Korrektheit und Robustheit der Implementierung, das als Algorithmus für maschinelles Lernen bezeichnet wird. auf Daten anzuwenden, die sie nicht verstehen, und sich aufgrund ihrer Erfahrung als Data Scientist zu bezeichnen.

Das mag flippig klingen, aber ich glaube, es ist das Wesentliche der Situation.

Bearbeiten: Folgendes wurde am 26. September 2019 getwittert:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "Wenn wir Geld sammeln, ist es KI, wenn wir maschinelles Lernen anstellen und wenn wir die Arbeit erledigen, ist es logistische Regression."

(Ich bin nicht sicher, wer darauf gekommen ist, aber es ist ein Juwel gem)

Mark L. Stone
quelle
16
Ich werde nicht verbergen, dass ich einige dieser Meinungen teile und mit dem Rest einverstanden bin. Damit sie jedoch als Antwort auf einer SE-Site geeignet sind, benötigen sie Unterstützung. Offensichtlich wird dies nicht durch deduktives Denken geschehen: Es muss aus der Hinzufügung von Fakten und / oder dem Zitieren maßgeblicher Quellen stammen. Es wäre cool, wenn Sie das könnten!
Whuber
10
Der unterhaltsamste Beitrag, den ich heute auf dieser Website gelesen habe, und ich bin damit einverstanden. Aber ich muss @whuber zustimmen, dass es die Frage in der aktuellen Form nicht wirklich beantwortet.
Nick Cox
6
Zur kleinen Klarstellung. Ich arbeite sowohl in der Softwareentwicklung als auch in der bösartigen "Data Science". Ich interviewe viele Leute. Die Anzahl der Befragten, die sich für Positionen in der Softwareentwicklung und in der Datenwissenschaft bewerben und nicht über die erforderlichen Fähigkeiten verfügen, ist ungefähr gleich. Was ist das Besondere am Data Science-Titel? Die Leute werden ihre Fähigkeiten in allen technischen Disziplinen aufbessern. Ich bin sicher, dass der Austausch von Programmstapeln viele der gleichen Beschwerden hat.
Matthew Drury
7
Dies fühlt sich eher wie ein Schimpfen als eine Antwort an. Klar, Namen ändern sich, Branding ist wichtig und maschinelles Lernen ist heiß (und daher gibt es viele selbsternannte Praktizierende, die nicht wissen, was sie tun). Es erscheint mir jedoch billig, dies als Argument zu verwenden, um ein Feld herunterzuspielen, das sowohl in der Forschung als auch in der Industrie etabliert und von hoher Relevanz ist.
Marc Claesen
7
@ MarkL.Stone Ich verstehe deine Situation und bin vollkommen einverstanden, dass es hier draußen viele inkompetente heiße Begriffe gibt. Meiner Meinung nach ist die Tatsache, dass solche Leute Jobs finden (und behalten!), Die Schuld des Managements. Wenn Manager mit den Ergebnissen der Analysten unzufrieden sind und alle Analysten unabhängig von ihren individuellen Fähigkeiten / Ergebnissen gleich behandeln, ist das Management ebenso inkompetent wie die schlechten Analysten. Jeder Job, der nach Bargeld riecht, hat Quacksalber, zum Beispiel Medikamente. Umfassende Verallgemeinerungen über Datenwissenschaftler / maschinelles Lernen sind genauso schlimm wie Misstrauen gegenüber allen Analysten.
Marc Claesen
18

Wie andere bereits erwähnt haben, gibt es keine klare Trennung zwischen Statistik, maschinellem Lernen, künstlicher Intelligenz usw. Nehmen Sie also eine Definition mit einem Körnchen Salz. Logistische Regression wird wahrscheinlich häufiger als Statistik als maschinelles Lernen bezeichnet, während neuronale Netze typischerweise als maschinelles Lernen bezeichnet werden (obwohl neuronale Netze oft nur eine Sammlung von logistischen Regressionsmodellen sind).

Meiner Meinung nach untersucht das maschinelle Lernen Methoden, die irgendwie aus Daten lernen können, typischerweise indem ein Modell in irgendeiner Form konstruiert wird. Logistische Regressionen wie SVM, neuronale Netze, zufällige Wälder und viele andere Techniken lernen bei der Erstellung des Modells aus Daten .

Wenn ich in einem Algorithmus für maschinelles Lernen richtig verstanden habe, muss das Modell aus seiner Erfahrung lernen

So wird maschinelles Lernen normalerweise nicht definiert. Nicht alle Methoden des maschinellen Lernens liefern Modelle, die sich dynamisch an neue Daten anpassen (dieses Unterfeld wird als Online-Lernen bezeichnet ).

Was ist der Unterschied zwischen logistischer Regression und normaler Regression beim "Lernen"?

Viele Regressionsmethoden werden auch als maschinelles Lernen klassifiziert (z. B. SVM).

Marc Claesen
quelle
2
Beachten Sie, dass unbeaufsichtigtes Lernen immer noch als (maschinelles) Lernen bezeichnet wird, sodass Sie nicht unbedingt eine Feedback-Schleife benötigen, um etwas als "maschinelles Lernen" zu klassifizieren.
vsz
Dies ist kein Thema für die Frage, aber in dieser Antwort wird auch die Trennung zwischen AI und ML erwähnt. Ich mochte immer diese Definition von AI: en.wikipedia.org/wiki/…
Davis Yoshida
10

Die logistische Regression wurde 1958 vom Statistiker DR Cox erfunden und datiert daher noch vor dem Bereich des maschinellen Lernens. Logistische Regression ist keine Klassifizierungsmethode, Gott sei Dank. Es ist ein direktes Wahrscheinlichkeitsmodell.

Wenn Sie der Meinung sind, dass ein Algorithmus zwei Phasen haben muss (anfängliche Vermutung, dann "korrigieren" Sie die Vorhersage "Fehler"), berücksichtigen Sie dies: Die logistische Regression macht es beim ersten Mal richtig. Das heißt, im Bereich der additiven (im Logit) Modelle. Die logistische Regression ist ein direkter Konkurrent vieler Methoden des maschinellen Lernens und übertrifft viele von ihnen, wenn Prädiktoren hauptsächlich additiv agieren (oder wenn das Fachwissen die Interaktionen korrekt vorgibt). Manche nennen logistische Regression eine Art maschinelles Lernen, die meisten jedoch nicht. Einige Methoden des maschinellen Lernens (neuronale Netze sind Beispiele) können als statistische Modelle bezeichnet werden.

Frank Harrell
quelle
1
Der maschinelle Lerndienst von Amazon verwendet nur einen Algorithmus (afaik) - die logistische Regression - für Klassifizierungsaufgaben : p aws.amazon.com/machine-learning/faqs
stmax
Sie können die Daten einfach inkrementell darstellen - wie bei einem Online-Lernproblem . In diesem Fall macht die logistische Regression "nicht gleich beim ersten Mal richtig". Ich lerne nach und nach. Es hat einen Standardverlust und seine Aktualisierung ist die Standardanwendung des Gradientenabfalls. Logistische Regression steckt in jedem Lehrbuch des maschinellen Lernens, das ich gesehen habe.
Neil G
1
β
@FrankHarrell: Richtig, und so verläuft die Schätzung der maximalen Wahrscheinlichkeit für die Lösung eines logistischen Regressionsproblems.
Neil G
7

Ich muss den meisten Antworten hier nicht zustimmen und behaupten, dass maschinelles Lernenhat einen sehr präzisen Umfang und eine klare Unterscheidung von Statistik. ML ist ein Teilgebiet der Informatik mit einer langen Geschichte, das erst in den letzten Jahren Anwendungen außerhalb seines Fachgebiets gefunden hat. MLs väterliches Feld und Anwendungsgebiet liegt in der künstlichen Intelligenz (Robotik, Mustererkennungssoftware usw.), daher ist es nicht nur ein "heißer Begriff" wie "Big Data" oder "Data Science". Andererseits wurde die Statistik (die vom Wort "Staat" stammt) in den Sozial- und Wirtschaftswissenschaften als Werkzeug für Menschen und nicht für Maschinen entwickelt. ML hat sich unabhängig von der Statistik entwickelt und ist, obwohl sie sich irgendwann stark auf statistische Prinzipien stützt, keineswegs ein Teilgebiet der Statistik. ML und Statistik sind komplementäre Felder, die sich nicht überschneiden.

Lange Antwort :

Wie der Name andeutet, wurden ML-Methoden für Software / Maschinen und statistische Methoden für Menschen entwickelt. Sowohl ML als auch Statistik befassen sich mit Vorhersagen zu Daten. ML-Methoden folgen jedoch einem nicht parametrisierten automatisierten Ansatz, während statistische Methoden viel manuelle Modellbildung mit einem zusätzlichen Erklärungsfaktor erfordern. Dies ist sinnvoll, wenn Sie bedenken, dass ML-Algorithmen in der KI-Forschung als Mittel zur automatisierten Vorhersage entwickelt wurden, die in Robotersoftware integriert werden sollten (z. B. zum Zwecke der Sprach- und Gesichtserkennung). Wenn eine "Maschine" eine Vorhersage macht, interessiert es sie nicht, warum sie dahintersteckt. Einer Maschine ist es egal, welche Treiber / Prädiktoren hinter einem Modell stehen, das E-Mails als Spam oder Nicht-Spam klassifiziert. Es geht nur um die bestmögliche Genauigkeit der Vorhersage.Black Boxes , nicht weil sie kein Modell haben, sondern weil das Modell algorithmisch aufgebaut ist und weder für Menschen noch für Maschinen sichtbar sein soll.

Das Konzept des "Trainings" in ML beruht auf Rechenleistung, während die statistische Modellbildung mit OLS-artigen Methoden zur Parameterschätzung auf dem Wissen eines menschlichen Experten beruht. In einem Szenario mit mehreren Regressionen ist es ausschließlich Sache des Statistikers, sein Expertenurteil zu verwenden, um sein Modell auszuwählen und alle erforderlichen statistischen Annahmen zu überprüfen. Das Ziel eines Statistikers besteht nicht nur darin, Muster zu finden und sie für Vorhersagen zu verwenden, sondern auch seine Daten und sein Problem in einer viel größeren Tiefe als ML zu verstehen.

Natürlich überschneiden sich in einigen Fällen ML und Statistik, wie dies bei vielen Disziplinen der Fall ist. Die logistische Regression ist eine dieser Gelegenheiten. ursprünglich eine statistische Methode, die dem einfachen Perceptron (einer der grundlegendsten ML-Techniken) so ähnlich ist, dass sie von einigen als ML-Methode angesehen wird.

Digio
quelle
1
Vielleicht haben Sie noch nie von nichtparametrischen Statistiken und nichtparametrischen statistischen Modellen und Modellbildung gehört?
Mark L. Stone
Ja, ich verwende täglich nichtparametrische Statistiken. Ich habe nicht gesagt, dass ML die nichtparametrische Antwort auf Statistiken ist, ich finde nur, dass ML-Methoden, die nichtparametrisch sind, als Nebeneffekt auftreten. Nichtparametrische Statistiken sind eine alternative Option des Statistikers, wenn parametrische Statistiken fehlschlagen. Sie sind jedoch immer noch das Ergebnis der bewussten Entscheidung eines Experten. Ich bin wahrscheinlich nicht klar genug, um meine Meinung mitzuteilen, und dafür entschuldige ich mich.
Digio
3
Es gibt viele Statistiker, die ständig nichtparametrische Modelle und Statistiken erstellen. Haben Sie schon von Empirical Likelihood gehört? Von einem Statistiker erfunden, von Statistikern verwendet und nicht parametrisch, obwohl es auch semiparametrisch verwendet werden kann. Also stimme ich dir nicht zu, aber ich habe dich nicht abgelehnt.
Mark L. Stone
Meinungsverschiedenheiten sind in Ordnung Mark, aber ich verstehe immer noch nicht ganz, worum es bei Ihrem Gegenargument geht. Bedeuten Sie, dass nichtparametrische Statistiken kein maschinelles Lernen erfordern (was ich nie bestritten habe)? Oder behaupten Sie, dass maschinelles Lernen in der Tat nur ein anderer Name für nichtparametrische Statistiken ist (etwas, das ich bestritten habe)?
Digio
3
Hier gibt es viel zu widersprechen. Multivariable Regressionsmodelle können in Verbindung mit modernen statistischen Tools flexibel und mit ML äußerst wettbewerbsfähig sein.
Frank Harrell
3

Maschinelles Lernen ist ziemlich locker definiert, und Sie haben Recht damit, dass Regressionsmodelle - und nicht nur logistische Regressionsmodelle - auch aus den Daten "lernen". Ich bin mir nicht sicher, ob dies bedeutet, dass maschinelles Lernen wirklich Statistik ist oder Statistik wirklich maschinelles Lernen ist - oder ob dies überhaupt von Bedeutung ist.

k

Das heißt, einige Algorithmen lernen aus Vorhersagefehlern - dies ist besonders beim Reinforcement-Lernen üblich , bei dem ein Agent Maßnahmen ergreift, das Ergebnis beobachtet und das Ergebnis dann zur Planung künftiger Maßnahmen verwendet. Beispielsweise könnte ein Roboterstaubsauger mit einem Modell der Welt beginnen, in dem alle Orte gleich oft gereinigt werden, und dann lernen, schmutzige Orte (wo es durch das Auffinden von Schmutz "belohnt" wird) mehr und Orte weniger zu saugen.

Online- oder inkrementelle Algorithmen können wiederholt mit neuen Trainingsdaten aktualisiert werden. Dies hängt nicht unbedingt von der Vorhersagegenauigkeit des Modells ab, aber ich könnte mir einen Algorithmus vorstellen, bei dem die Gewichte aggressiver aktualisiert werden, wenn zum Beispiel die neuen Daten angesichts des aktuellen Modells sehr unwahrscheinlich erscheinen. Es gibt Online-Versionen für die logistische Regression: zB McMahan und Streeeter (2012) .

Matt Krause
quelle
3

Ich habe es endlich herausgefunden. Ich kenne jetzt den Unterschied zwischen statistischer Modellanpassung und maschinellem Lernen.

  • Wenn Sie ein Modell anpassen (Regression), ist dies eine statistische Modellanpassung
  • Wenn Sie ein Modell lernen (Regression), ist das maschinelles Lernen

Wenn Sie also eine logistische Regression lernen, ist dies ein Algorithmus für maschinelles Lernen.

Bemerkung: Verzeihen Sie, dass ich ein alter Knacker bin, aber wenn ich Leute über das Lernen eines Modells oder eine Regression sprechen höre, denke ich an Jethro: "Ich habe mir eine Ausbildung angeeignet".

ENDE DES GEWINDES

Mark L. Stone
quelle
??? Ich kann auch ein Logistikmodell lernen, wovon redest du?
SmallChess
1
@Student T: Wenn Sie ein Logistikmodell anpassen, ist dies eine statistische Modellanpassung. Wenn Sie ein Logistikmodell erlernen, ist dies maschinelles Lernen. Es ist also wirklich eine Frage der Terminologie, die von den verschiedenen Bereichen verwendet wird. Dasselbe kann von verschiedenen Bereichen (Statistik und maschinelles Lernen) als unterschiedliche Dinge bezeichnet werden.
Mark L. Stone
-1

Ich denke, die anderen Antworten machen einen guten Job darin, mehr oder weniger zu identifizieren, was maschinelles Lernen ist (wie sie anzeigen, kann es eine unscharfe Sache sein). Ich werde hinzufügen, dass die logistische Regression (und ihre allgemeinere multinomiale Version) sehr häufig als Mittel zur Klassifizierung in künstlichen neuronalen Netzen verwendet wird (von denen ich denke, dass sie eindeutig durch die von Ihnen gewählte vernünftige Definition des maschinellen Lernens abgedeckt sind), und wenn Sie dies erwähnen Logistische Regression zu einer Person im neuronalen Netz. Sie werden in diesem Zusammenhang wahrscheinlich sofort darüber nachdenken. Es ist ein guter Weg, selbst eine Technik des maschinellen Lernens zu werden, und ich denke, dass dies in gewissem Maße bei verschiedenen Regressionstechniken der Fall ist, obwohl ich sie nicht als geeignete Techniken des maschinellen Lernens abschätzen würde an und für sich.

Adamconkey
quelle
Beachten Sie, dass die logistische Regression kein Klassifikator, sondern eine direkte Wahrscheinlichkeitsschätzungsmethode ist.
Frank Harrell
Weitere Informationen zu Dr. Harrells Standpunkt finden Sie in meinem Beitrag hier. stats.stackexchange.com/questions/127042/...
Sycorax sagt wieder einzusetzen Monica
@FrankHarrell Wir können die Wahrscheinlichkeit auch für die Klassifizierung verwenden, es ist also wirklich ein Klassifizierer.
SmallChess
@ StudentT4 Das könnte nicht falscher sein. If ist ein direkter Wahrscheinlichkeitsschätzer. Wie Sie das Endergebnis des Logistikmodells nutzen, bleibt Ihnen überlassen. Nach Ihrer Logik ist der Stichprobenmittelwert ein Klassifikator.
Frank Harrell
-1

Logistische Regression (und im Allgemeinen GLM) gehört NICHT zum maschinellen Lernen! Diese Methoden gehören vielmehr zur parametrischen Modellierung.

Sowohl parametrische als auch algorithmische (ML) Modelle verwenden die Daten auf unterschiedliche Weise. Algorithmische Modelle lernen aus den Daten, wie Prädiktoren auf den Prädiktanden abgebildet werden, aber sie treffen keine Annahmen über den Prozess, der die Beobachtungen erzeugt hat (und auch keine anderen Annahmen). Sie sind der Ansicht, dass die zugrunde liegenden Beziehungen zwischen Eingabe- und Ausgabevariablen komplex und unbekannt sind, und verfolgen daher einen datengetriebenen Ansatz, um zu verstehen, was vor sich geht, anstatt eine formale Gleichung aufzustellen.

Andererseits werden parametrische Modelle von vornherein auf der Grundlage einiger Kenntnisse über den untersuchten Prozess vorgeschrieben, verwenden die Daten zur Schätzung ihrer Parameter und treffen viele unrealistische Annahmen, die in der Praxis selten zutreffen (wie z. B. Unabhängigkeit, gleiche Varianz und Normalverteilung der Fehler).

Parametrische Modelle (wie die logistische Regression) sind ebenfalls globale Modelle. Sie können keine lokalen Muster in den Daten erfassen (im Gegensatz zu ML-Methoden, die Bäume als Basismodelle verwenden, z. B. RF oder Boosted Trees). Siehe dieses Dokument auf Seite 5. Als Korrekturstrategie kann lokales (dh nichtparametrisches) GLM verwendet werden (siehe zum Beispiel das locfit R-Paket).

Wenn wenig Wissen über das zugrunde liegende Phänomen verfügbar ist, ist es oft besser, einen datengetriebenen Ansatz zu wählen und algorithmische Modellierung zu verwenden. Wenn Sie beispielsweise die logistische Regression in einem Fall verwenden, in dem das Zusammenspiel zwischen Eingabe- und Ausgabevariablen nicht linear ist, ist Ihr Modell eindeutig unzureichend und es wird nicht viel Signal erfasst. Wenn der Prozess jedoch gut verstanden ist, haben parametrische Modelle den Vorteil, eine formale Gleichung bereitzustellen, um alles zusammenzufassen, was vom theoretischen Standpunkt aus mächtig ist.

Für eine ausführlichere Diskussion lesen Sie diesen ausgezeichneten Artikel von Leo Breiman.

Antoine
quelle
4
Bitte nehmen Sie sich die Zeit, um die logistische Regression zu verstehen. Es werden keinerlei Verteilungsannahmen getroffen. Es ist genau die gleiche Art von Unabhängigkeitsannahme, die ML macht. ML erfordert viel größere Stichproben als die logistische Regression. Beispielsweise können zufällige Gesamtstrukturen und SVM erfordern, dass 200 Ereignisse pro Kandidaten-Feature stabil sind, während für die logistische Regression in der Regel 200 Ereignisse pro Kandidatenvariable erforderlich sind.
Frank Harrell
5
Es gibt viele gute Bücher zu diesem Thema und ich empfehle Ihnen, sie zu lesen, bevor Sie fortfahren. Die logistische Regression geht von keiner identischen Verteilung aus und geht praktisch von keiner Verteilung aus. Sofern Sie nicht nachweisen können, wie Sie die Korrelationsstruktur in ML berücksichtigen, gehen beide Ansätze von Unabhängigkeit aus. Regressionssplines werden seit 1982 verwendet, um Linearitätsannahmen in der logistischen Regression zu lockern. Für diese Diskussion ist feature = variabel, sofern es nicht in einem Spline erweitert ist.
Frank Harrell
5
Breiman verstand die Dinge ganz gut. Er beschäftigte sich nur nicht mit Entwicklungen in der logistischen Regression nach 1982, z. B. bestrafte Maximum-Likelihood-Schätzung, Regressions-Splines und Kombinationen mit Datenreduktionsmethoden. Die einzige ernsthafte Einschränkung der logistischen Regression besteht darin, dass es wie bei anderen Methoden nicht gut ist, die richtigen Interaktionen zu finden, wenn nach Interaktionen gesucht wird und diese nicht im Voraus festgelegt wurden. Die meisten Methoden, die dies vorgeben, führen nicht zu reproduzierbaren Ergebnissen. Außerdem verwendete Breiman einen falschen Genauigkeitswert, der durch ein Scheinmodell optimiert werden kann.
Frank Harrell
3
@Antoine: "Warum sich die logistische Regression grundlegend von der ML unterscheidet". Beachten Sie, dass einige Methoden in ML (insbesondere SVM) in hohem Maße mit der logistischen Regression zusammenhängen. Mit Ausnahme von Mehrfachinteraktionen, wie sie Frank schrieb, führen nichtlineare und strafbare Logistiken zu sehr ähnlichen Ergebnissen wie SVM und andere ML-Methoden. Es erstaunt mich immer wieder, wie in einigen Veröffentlichungen Leistungsverbesserungen auf der Grundlage einer ML-Methode im Vergleich zu einem stat101-Logistikmodell genannt werden, um die logistische Regression negativ zu beeinflussen.
Thomas Speidel
2
Sie verwechseln Verteilungsannahmen (linke Seite eines Regressionsmodells) mit Verknüpfungsfunktionen und Regressionsannahmen (rechte Seite des Modells). Sie können eine Vielzahl von Verknüpfungsfunktionen verwenden, die die zugrunde liegenden heterogenen Wahrscheinlichkeiten für eine Bernoulli-Sequenz liefern (siehe Originalarbeit zum Logistikmodell - Cox, 1958). Das ändert nichts daran, dass es sich um eine Bernoulli-Sequenz handelt. Und Ihre Meinungsverschiedenheit über "Ergebnisse" muss auf meine mangelnde Spezifität von "Ergebnissen" gegenüber "potenziellen Ergebnissen" zurückzuführen sein. Die Verwendung neuer Begriffe für alte Dinge, z. B. "Überraschung" oder "Wahrscheinlichkeit", ist suboptimal.
Frank Harrell
-1

Ich denke, jeder Vorgang, der "iterativ" ist, kann als Fall von maschinellem Lernen betrachtet werden. Regression kann als maschinelles Lernen betrachtet werden. Wir könnten es von Hand machen, aber es würde lange dauern, wenn es überhaupt möglich wäre. Jetzt haben wir also diese Programme, Maschinen, die die Iterationen für uns erledigen. Es kommt einer Lösung, der besten Lösung oder der besten Anpassung immer näher. Also "maschinelles Lernen". Natürlich bekommen Dinge wie neuronale Netze die meiste Aufmerksamkeit in Bezug auf maschinelles Lernen, daher ordnen wir diesen sexy Prozeduren normalerweise maschinelles Lernen zu. Auch der Unterschied zwischen "überwachtem" und "unbeaufsichtigtem" maschinellem Lernen ist hier relevant

dailyl
quelle
-2

Es ist ein sehr häufiger Fehler, den die meisten Leute machen und ich kann ihn auch hier sehen (von fast jedem gemacht). Lassen Sie es mich im Detail erklären ... Logistische Regression und lineares Regressionsmodell, beide sind parametrische Modelle sowie Techniken des maschinellen Lernens. Es hängt nur von der Methode ab, mit der Sie die Modellparameter (Theta) schätzen. Es gibt zwei Möglichkeiten, Modellparameter in Linear Regression und Logistic reg zu finden.

  1. Gradient-Descent-Technik : Hier beginnen wir damit, den Parametern zufällige Werte zuzuweisen und die Kostenfunktion (Fehler) zu finden. In jeder Iteration aktualisieren wir unsere Parameter und minimieren die Kostenfunktion. Nach einer bestimmten Anzahl von Iterationen sind die auf die gewünschten Werte reduzierten Kostenfunktionen und die entsprechenden Parameterwerte unsere Endwerte. Dies ist, was eine maschinelle Lerntechnik tun soll. Wenn Sie also die Gradient-Descent-Technik verwenden, kann die logistische Regression als maschinelles Lernen bezeichnet werden.

  2. Mit der Methode des kleinsten Quadrats: Hier haben wir eine direkte Formel, um unsere Parameter zu finden (zum Verständnis der Herleitung dieser Formel ist eine Matrixalgebra erforderlich), die als normale Gleichung bezeichnet wird. Least Square-Methode

Hier stellt b die Parameter dar. X ist die Entwurfsmatrix. Beide Methoden haben ihre eigenen Vor- und Nachteile. Um weitere Informationen zu erhalten, folgen Sie dem Kurs coursera Machine Learning, der noch ausgeführt wird.

Ich hoffe dieser Beitrag könnte hilfreich sein .. :-)

Mohit Kumar
quelle