Welche Beziehung besteht zwischen Korrelation und Kausalität beim maschinellen Lernen?

13

Es ist allgemein bekannt, dass "Korrelation nicht gleich Kausalität ist", aber maschinelles Lernen scheint fast ausschließlich auf Korrelation zu beruhen. Ich arbeite an einem System, um die Leistung von Schülern auf der Grundlage ihrer bisherigen Leistungen zu schätzen. Im Gegensatz zu anderen Aufgaben, wie der Google-Suche, scheint dies nicht die Art von System zu sein, die leicht zu spielen ist. Daher ist die Kausalität in dieser Hinsicht nicht wirklich relevant.

Wenn wir Experimente durchführen wollen, um das System zu optimieren, müssen wir uns natürlich um die Unterscheidung zwischen Korrelation und Ursache kümmern. Aber hat diese Unterscheidung im Hinblick auf den Aufbau eines Systems zur Auswahl von Fragen, die wahrscheinlich den entsprechenden Schwierigkeitsgrad haben, irgendeine Bedeutung?

machine-learning statistics Casebash
quelle
Bitte definieren Sie oder beziehen Sie sich zumindest auf das, was Sie unter Korrelationsursache in "Korrelation ist nicht gleich Kausalität"
verstehen

Antworten:

11

Nicht alle KI arbeiten mit Korrelation. Bayesianische Glaubensnetzwerke basieren auf der Wahrscheinlichkeit, dass A B verursacht.

Ich arbeite an einem System, um die Leistung von Schülern auf der Grundlage ihrer bisherigen Leistungen zu schätzen.

Ich glaube nicht, dass Sie dafür eine Kausalität brauchen. Eine vergangene Leistung verursacht keine aktuelle Leistung. Die Beantwortung einer frühen Frage bewirkt keine Antwort auf eine spätere Frage.

Aber hat diese Unterscheidung im Hinblick auf den Aufbau eines Systems zur Auswahl von Fragen, die wahrscheinlich den entsprechenden Schwierigkeitsgrad haben, irgendeine Bedeutung?

Nein, nicht für dein Beispiel. Ich denke, Korrelation (oder sogar einfache Extrapolation) würde Ihr Problem sehr gut lösen. Weisen Sie jeder der Fragen einen Schwierigkeitsgrad zu und geben Sie den Schülern Fragen in immer schwierigeren Schwierigkeitsgraden (so funktionieren die meisten Prüfungen). Wenn der Schüler anfängt, sie falsch zu verstehen, können Sie den Schwierigkeitsgrad zurückdrehen. Dies ist ein Rückkopplungsalgorithmus, der der Fehlerminimierung ähnelt, die bei einem Neuron in einem mehrschichtigen Perzeptron durchgeführt wird. Das nicht triviale Stück Eingabefelder wie dieses entscheidet, was eine schwierige Frage ist!

Ein besseres Beispiel für eine Kausalität in der KI wäre:

Mein Auto wird langsamer. Mein Gaspedal ist auf dem Boden. Es gibt nicht viel Lärm. Das Armaturenbrett ist beleuchtet. Wie groß ist die Wahrscheinlichkeit, dass mir der Kraftstoff ausgeht?

In diesem Fall hat der Kraftstoffmangel zu einer Verlangsamung des Fahrzeugs geführt. Genau dieses Problem lösen die Bayesian Belief Networks.

Dr. Rob Lang
quelle
"Ich glaube nicht, dass Sie eine Ursache dafür brauchen. Eine vergangene Aufführung bewirkt keine aktuelle Aufführung. Die Beantwortung einer frühen Frage bewirkt keine Antwort auf eine spätere Frage." - Nun, die Tatsache, dass ein Schüler eine Übung absolviert hat, kann dazu führen, dass er bei einer anderen Übung bessere Leistungen erbringt (wir versorgen ihn mit Hinweisen usw.).
Casebash
Aber ich nehme an, Sie haben Recht, es geht nicht so sehr um Korrelation oder Kausalität, sondern darum, ob sie mit einer Kausalität korreliert ist (z. B. Schüler einer bestimmten Klasse, die in Geometriethemen gut abschneiden, weil der Lehrer sie ausführlicher behandelt hat, im Vergleich zu Schülern, die dies tun) beendete die schwierigsten Themen mit tendenziell hohen Leistungen, weil sie die einzigen sind, die es schaffen)
Casebash
Ah! Das ist interessant: Eine Übung abzuschließen und das Ergebnis zu kennen, ist der Grund, warum man Fragen besser beantworten kann. Aber das ist hier nicht zu beobachten. Das einzige, was Sie beobachten, sind die Prüfungsfragen, die korreliert sind. Korrelation ist nicht schmutzig, es ist gut zu sagen, dass zwei statistische Prozesse eine Beziehung haben.
Dr. Rob Lang
A verursacht B ist eine Interpretation eines Glaubensnetzwerks.
seteropere
6

Maschinelles Lernen scheint fast ausschließlich auf Korrelation zu beruhen

Ich denke nicht, zumindest nicht im Allgemeinen. Die Hauptannahme für ML-Algorithmen in Bezug auf die PAC-Analyse und die VC-Dimensionsanalyse besteht beispielsweise darin, dass die Trainings- / Testdaten aus derselben Verteilung stammen wie die zukünftigen Daten.

In Ihrem System müssten Sie also davon ausgehen, dass jeder Schüler eine bedingte Wahrscheinlichkeitsverteilung auferlegt, die Antworten auf bestimmte Arten von Fragen zu bestimmten Themen generiert. Eine andere und problematischere Annahme ist, dass sich diese Verteilung nicht (oder nicht schnell) ändert.

BartoszKP
quelle
2

Ich stimme den vorherigen Antworten zu.

Wenn Sie sich jedoch mit Korrelation / Kausalität im Allgemeinen befassen möchten, sollten Sie sich zwei Dinge ansehen:

  • Pearl (ja, diese Pearl ) hat eines der wenigen anständigen Bücher darüber herausgebracht.
  • Reinforcement Learning und das mehrarmige Banditenproblem basieren alle auf einem Akteur, der versucht, optimale Handlungsabläufe in einer unbekannten Umgebung abzuleiten. Das heißt, er muss lernen, welche „Handlungen“ ihm die beste „Belohnung“ verschaffen und so implizit kausale Probleme lösen Beziehungen.

quelle
2

Zusätzlich zu den anderen Antworten gibt es ein interessantes Thema: Wenn Sie Features manuell auswählen, möchten Sie möglicherweise über „zufällige Korrelation“ nachdenken, um Überanpassungen zu reduzieren, dh um Features zu vermeiden, die in Ihren Trainingsdaten möglicherweise korrelieren, dies aber nicht tun würden 't / sollte nicht im allgemeinen Fall korreliert werden - dass es überhaupt keinen Kausalzusammenhang gibt.

Nehmen wir als grobes Beispiel an, Sie nehmen eine Datentabelle mit historischen Prüfungsergebnissen und versuchen, die Kriterien für das Bestehen / Nichtbestehen vorherzusagen. Sie schließen einfach alle verfügbaren Datenfelder als Features ein, und die Tabelle hat zufällig auch den Geburtstag der Schüler. Nun, es kann durchaus eine gültige Korrelation in den Trainingsdaten geben, dass Schüler, die am 12. Februar geboren wurden, fast immer bestanden haben und Schüler, die am 13. Februar geboren wurden, fast immer nicht bestanden haben ... aber da es keinen Kausalzusammenhang gibt, sollte dies ausgeschlossen werden.

Im wirklichen Leben ist es etwas subtiler, aber es hilft, Korrelationen zu unterscheiden, die Ihren Daten zu gültigen Signalen passen, die gelernt werden sollten. und Korrelationen, die einfach Muster sind, die durch zufälliges Rauschen in Ihrem Trainingssatz verursacht werden.

Peter ist
quelle