Es gibt beträchtliche Überschneidungen zwischen diesen, aber es können einige Unterscheidungen getroffen werden. Notwendigerweise muss ich einige Dinge zu stark vereinfachen oder andere kurz zusammenfassen, aber ich werde mein Bestes geben, um diesen Bereichen einen Sinn zu geben.
Erstens unterscheidet sich künstliche Intelligenz ziemlich von den anderen. AI ist die Untersuchung, wie intelligente Agenten erstellt werden. In der Praxis wird ein Computer so programmiert, dass er sich wie ein intelligenter Agent (z. B. eine Person) verhält und eine Aufgabe ausführt. Dies gilt nicht hat , um überhaupt Lernen oder Induktion beinhaltet, kann es nur ein Weg, um ‚eine bessere Mausefalle zu bauen‘. KI-Anwendungen enthalten beispielsweise Programme zur Überwachung und Steuerung laufender Prozesse (z. B. Erhöhung von Aspekt A, wenn dieser zu niedrig erscheint). Beachten Sie, dass KI nahezu alles beinhalten kann , was eine Maschine tut, solange sie es nicht „dumm“ macht.
In der Praxis erfordern die meisten Aufgaben, die Intelligenz erfordern, die Fähigkeit, neues Wissen aus Erfahrungen zu gewinnen. Somit ist ein großer Bereich innerhalb der KI maschinelles Lernen . Ein Computerprogramm soll eine Aufgabe aus Erfahrung lernen, wenn sich seine Leistung bei der Aufgabe mit der Erfahrung gemäß einem Leistungsmaß verbessert. Beim maschinellen Lernen werden Algorithmen untersucht, mit denen Informationen automatisch extrahiert werden können (dh ohne menschliche Online-Anleitung). Es ist sicherlich der Fall , dass einige dieser Verfahren Ideen beinhalten , die direkt aus, oder durch klassische Statistik inspiriert, aber sie nicht habensein. Ähnlich wie bei der KI ist das maschinelle Lernen sehr umfassend und kann fast alles umfassen, solange es eine induktive Komponente gibt. Ein Beispiel für einen Algorithmus für maschinelles Lernen könnte ein Kalman-Filter sein.
Data Mining ist ein Bereich, der seine Inspiration und seine Techniken zum großen Teil dem maschinellen Lernen (und zum Teil auch der Statistik) entnommen hat, der jedoch unterschiedliche Ziele verfolgt . Data Mining wird von einer Person in einer bestimmten Situation für einen bestimmten Datensatz mit dem Ziel ausgeführt. In der Regel möchte diese Person die Leistungsfähigkeit der verschiedenen Mustererkennungstechniken nutzen, die beim maschinellen Lernen entwickelt wurden. Sehr oft ist der Datensatz sehr umfangreich , kompliziert und / oder weist spezielle Probleme auf(wie es mehr Variablen als Beobachtungen gibt). In der Regel besteht das Ziel darin, entweder einige vorläufige Erkenntnisse in einem Bereich zu gewinnen, in dem vorher wirklich wenig Wissen vorhanden war, oder zukünftige Beobachtungen präzise vorhersagen zu können. Darüber hinaus können Data-Mining-Verfahren entweder "unbeaufsichtigt" (wir kennen die Antwortentdeckung nicht) oder "überwacht" (wir kennen die Antwortvorhersage) sein. Beachten Sie, dass das Ziel im Allgemeinen nicht darin besteht, ein besseres Verständnis des zugrunde liegenden Datenerzeugungsprozesses zu entwickeln. Zu den gebräuchlichen Data Mining-Techniken gehören Clusteranalysen, Klassifizierungs- und Regressionsbäume sowie neuronale Netze.
Ich muss wohl nicht viel sagen, um zu erklären, was Statistik auf dieser Site ist, aber vielleicht kann ich ein paar Dinge sagen. Die klassische Statistik (hier meine ich sowohl die häufigste als auch die Bayes'sche) ist ein Unterthema in der Mathematik. Ich halte es für den Schnittpunkt von dem, was wir über Wahrscheinlichkeit und Optimierung wissen. Obwohl die mathematische Statistik einfach als platonisches Untersuchungsobjekt betrachtet werden kann, wird sie meistens als praktischer und charaktervoller verstanden als andere, weniger bekannte Gebiete der Mathematik. Als solches (und insbesondere im Gegensatz zum obigen Data Mining) wird es hauptsächlich zum besseren Verständnis eines bestimmten Datenerzeugungsprozesses eingesetzt. Es beginnt also in der Regel mit einem formal festgelegten Modellund daraus werden Prozeduren abgeleitet, um dieses Modell genau aus verrauschten Instanzen zu extrahieren (dh Schätzung - durch Optimieren einer Verlustfunktion) und es von anderen Möglichkeiten zu unterscheiden (dh Schlussfolgerungen basierend auf bekannten Eigenschaften von Stichprobenverteilungen). Die prototypische statistische Technik ist die Regression.
Common data mining techniques would include cluster analyses, classification and regression trees, and neural networks.
Ist es sicher zu sagen, dass ein neuronales Netzwerk ein Beispiel für ein Tool zum maschinellen Lernen ist, das beim Data Mining verwendet wird, im Vergleich zu einer Clusteranalyse, die kein Algorithmus zum maschinellen Lernen ist, das beim Data Mining verwendet wird?Viele der anderen Antworten haben die wichtigsten Punkte behandelt, aber Sie haben nach einer Hierarchie gefragt, falls es eine gibt, und wie ich das sehe. Obwohl es sich um eigene Disziplinen handelt, scheint es eine Hierarchie zu geben, auf der noch niemand aufgebaut hat Der vorherige.
Zusamenfassend
Nun, dies wird gesagt, es wird einige KI-Probleme geben, die nur in die KI und in ähnlicher Weise in die anderen Bereiche fallen, aber die meisten der heute interessanten Probleme (zum Beispiel selbstfahrende Autos) könnten einfach und korrekt als all diese bezeichnet werden. Hoffe, dies klärt die Beziehung zwischen ihnen auf, nach der Sie gefragt haben.
quelle
Im Allgemeinen haben sich probabilistische Modelle (und damit Statistiken) als der effektivste Weg erwiesen, Wissen und Verständnis in einer Maschine formal so zu strukturieren, dass alle drei anderen (AI, ML und DM) heute zumeist Teilbereiche von sind Statistiken. Nicht die erste Disziplin, die ein Schattenarm der Statistik wird ... (Wirtschaft, Psychologie, Bioinformatik usw.)
quelle
Wir können sagen, dass sie alle verwandt sind, aber sie sind alle verschiedene Dinge. Sie können jedoch Gemeinsamkeiten aufweisen, z. B. beim Statistik- und Data-Mining-Verfahren, bei dem Sie Clustering-Methoden verwenden.
Lassen Sie mich versuchen, jedes kurz zu definieren:
Statistik ist eine sehr alte Disziplin, die hauptsächlich auf klassischen mathematischen Methoden basiert. Sie kann für den gleichen Zweck verwendet werden wie Data Mining, bei dem Dinge manchmal klassifiziert und gruppiert werden.
Data Mining besteht aus Gebäudemodellen, um die Muster zu ermitteln, mit denen wir Situationen anhand einer Reihe von Fakten oder Faktoren klassifizieren oder vorhersagen können.
Künstliche Intelligenz (siehe Marvin Minsky *) ist die Disziplin, die versucht, die Funktionsweise des Gehirns mit Programmiermethoden nachzuahmen, zum Beispiel das Erstellen eines Programms, das Schach spielt.
Maschinelles Lernen ist die Aufgabe, Wissen aufzubauen und in irgendeiner Form im Computer zu speichern. Diese Form kann aus mathematischen Modellen, Algorithmen usw. bestehen. Alles, was dazu beitragen kann, Muster zu erkennen.
quelle
Ich kenne mich am besten mit dem maschinellen Lernen aus - der Data-Mining-Achse - und konzentriere mich darauf:
Maschinelles Lernen ist in der Regel an Inferenzen in Nicht-Standard-Situationen interessiert, z. B. in Nicht-ID-Daten, aktivem Lernen, halbüberwachtem Lernen und Lernen mit strukturierten Daten (z. B. Zeichenfolgen oder Grafiken). ML neigt auch dazu, sich für theoretische Grenzen des Lernbaren zu interessieren, was häufig die Grundlage für die verwendeten Algorithmen bildet (z. B. die Support-Vektor-Maschine). ML ist tendenziell bayesianischer Natur.
Data Mining ist daran interessiert, Muster in Daten zu finden, die Sie noch nicht kennen. Ich bin mir nicht sicher, ob sich das signifikant von der explorativen Datenanalyse in der Statistik unterscheidet, während beim maschinellen Lernen im Allgemeinen ein genaueres Problem zu lösen ist.
ML ist eher an kleinen Datasets interessiert, bei denen Überanpassung das Problem ist, und Data Mining ist eher an großen Datasets interessiert, bei denen das Problem die Datenmengen betrifft.
Statistik und maschinelles Lernen bieten viele der grundlegenden Tools, die von Data Minern verwendet werden.
quelle
Hier ist meine Meinung dazu. Beginnen wir mit den zwei sehr weit gefassten Kategorien:
Sowohl ML als auch DM sind in der Regel beide, KI und Statistik, da sie in der Regel grundlegende Methoden aus beiden umfassen. Hier sind einige der Unterschiede:
Darüber hinaus erfordert Data Mining in der Regel viel mehr Datenmanagement , dh, wie die Daten in effizienten Indexstrukturen und Datenbanken organisiert werden.
Leider sind sie nicht so einfach zu trennen. Zum Beispiel gibt es "unbeaufsichtigtes Lernen", das oft enger mit DM verbunden ist als mit ML, da es nicht zielgerichtet optimiert werden kann. Auf der anderen Seite sind DM-Methoden schwer zu bewerten (wie bewerten Sie etwas, das Sie nicht wissen?) Und werden häufig in Bezug auf die gleichen Aufgaben wie maschinelles Lernen bewertet , indem einige Informationen ausgelassen werden. Dies lässt sie jedoch in der Regel schlechter wirken als maschinelle Lernmethoden, die auf das eigentliche Bewertungsziel hin optimiert werden können.
Darüber hinaus werden sie häufig in Kombinationen eingesetzt. Beispielsweise wird eine Data Mining-Methode (z. B. Clustering oder unbeaufsichtigte Erkennung von Ausreißern) verwendet, um die Daten vorzuverarbeiten. Anschließend wird die maschinelle Lernmethode auf die vorverarbeiteten Daten angewendet, um bessere Klassifizierer zu trainieren.
Maschinelles Lernen ist in der Regel viel einfacher zu bewerten: Es gibt ein Ziel wie Punktzahl oder Klassenvorhersage. Sie können die Genauigkeit berechnen und abrufen. Beim Data Mining erfolgt die meiste Auswertung, indem einige Informationen (z. B. Klassenbeschriftungen) ausgelassen und anschließend geprüft werden, ob Ihre Methode dieselbe Struktur gefunden hat. Dies ist in diesem Sinne naiv, da Sie davon ausgehen, dass die Klassenbeschriftungen die Struktur der Daten vollständig codieren. Sie bestrafen tatsächlich Data Mining-Algorithmen, die etwas Neues in Ihren Daten entdecken. Eine andere Möglichkeit, es - indirekt - auszuwerten, besteht darin, wie die entdeckte Struktur die Leistung des tatsächlichen ML-Algorithmus verbessert (z. B. beim Partitionieren von Daten oder Entfernen von Ausreißern). Diese Bewertung basiert jedoch auf der Reproduktion vorhandener Ergebnisse, was eigentlich nicht das Ziel von Data Mining ist ...
quelle
Ich würde ein paar Beobachtungen zu dem hinzufügen, was gesagt wurde ...
KI ist ein sehr weit gefasster Begriff für alles, was mit Maschinen zu tun hat, die argumentations- oder gefühlsmäßige Tätigkeiten ausführen, angefangen von der Planung einer Aufgabe oder der Zusammenarbeit mit anderen Wesenheiten bis hin zum Erlernen des Bedienens von Gliedmaßen zum Gehen. Eine wichtige Definition ist, dass KI alles ist, was mit dem Computer zu tun hat, von dem wir noch nicht wissen, wie man es gut macht. (Wenn wir erst einmal wissen, wie man es richtig macht, bekommt es im Allgemeinen einen eigenen Namen und ist nicht länger "KI".)
Im Gegensatz zu Wikipedia habe ich den Eindruck, dass Mustererkennung und maschinelles Lernen dasselbe Gebiet sind, wobei das erstere von Leuten aus der Informatik praktiziert wird, während das letztere von Statistikern und Ingenieuren praktiziert wird. (Viele technische Bereiche werden immer wieder von verschiedenen Untergruppen entdeckt, die häufig ihre eigene Umgangssprache und Denkweise mit einbringen.)
Data Mining verwendet meiner Meinung nach maschinelles Lernen / Mustererkennung (die Techniken, die mit den Daten arbeiten) und umschließt sie mit Datenbank-, Infrastruktur- und Datenvalidierungs- / Bereinigungstechniken.
quelle
Leider liegt der Unterschied zwischen diesen Bereichen hauptsächlich darin, wo sie unterrichtet werden: Statistiken basieren auf mathematischen Abteilungen, Ai, maschinellem Lernen in Informatikabteilungen und Data Mining wird häufiger angewendet (von Geschäfts- oder Marketingabteilungen verwendet, von Softwarefirmen entwickelt). .
Erstens hat KI (obwohl es jedes intelligente System bedeuten könnte) traditionell eher logische Ansätze (z. B. Expertensysteme) als statistische Schätzungen gemeint. Die auf Mathematik basierende Statistik verfügt über ein sehr gutes theoretisches Verständnis sowie über umfangreiche praktische Erfahrungen in den experimentellen Wissenschaften, in denen ein klares wissenschaftliches Modell vorliegt. Für den Umgang mit den begrenzten verfügbaren experimentellen Daten ist eine Statistik erforderlich. Der Fokus lag oft darauf, die maximale Information aus sehr kleinen Datenmengen herauszuholen. Darüber hinaus gibt es eine Tendenz zu mathematischen Beweisen: Sie werden nicht veröffentlicht, wenn Sie nicht beweisen können, wie Sie vorgehen. Dies hat tendenziell dazu geführt, dass die Statistiken bei der Verwendung von Computern zur Automatisierung der Analyse zurückgeblieben sind. Nochmal, Der Mangel an Programmierkenntnissen hat Statistiker daran gehindert, große Probleme zu bearbeiten, bei denen Rechenprobleme wichtig werden (siehe GPUs und verteilte Systeme wie Hadoop). Ich glaube, Bereiche wie die Bioinformatik haben die Statistik jetzt mehr in diese Richtung bewegt. Abschließend würde ich sagen, dass Statistiker eher skeptisch sind: Sie behaupten nicht, dass Sie Wissen mit Statistiken entdecken - vielmehr kommt ein Wissenschaftler auf eine Hypothese, und der Statistiker hat die Aufgabe, zu überprüfen, ob die Hypothese von den Daten gestützt wird. Maschinelles Lernen wird in cs-Abteilungen unterrichtet, die leider nicht die entsprechende Mathematik unterrichten: Multivariable Berechnung, Wahrscheinlichkeit, Statistik und Optimierung sind nicht alltäglich ... man hat vage "glamouröse" Konzepte wie das Lernen aus Beispielen ...Elemente des statistischen Lernens Seite 30. Dies bedeutet in der Regel, dass es sehr wenig theoretisches Verständnis und eine Explosion von Algorithmen gibt, da Forscher immer einen Datensatz finden können, auf dem sich ihr Algorithmus als besser erweist. Es gibt also enorme Hype-Phasen, in denen ML-Forscher die nächste große Sache verfolgen: Neuronale Netze, Deep Learning usw. Leider gibt es in CS-Abteilungen viel mehr Geld (denken Sie an Google, Microsoft und das marktfähigere "Lernen") skeptischere Statistiker werden ignoriert. Schließlich gibt es eine empirische Tendenz: Grundsätzlich gibt es die Überzeugung, dass, wenn Sie genügend Daten auf den Algorithmus werfen, die richtigen Vorhersagen „gelernt“ werden. Während ich gegen ML voreingenommen bin, gibt es eine grundlegende Einsicht in ML, die Statistiker ignoriert haben: Dass Computer die Anwendung von Statistiken revolutionieren können.
Es gibt zwei Möglichkeiten: a) Automatisieren der Anwendung von Standardtests und -modellen. ZB eine Reihe von Modellen ausführen (lineare Regression, zufällige Gesamtstrukturen usw., wobei verschiedene Kombinationen von Eingaben, Parametereinstellungen usw. versucht werden). Das ist nicht wirklich passiert - obwohl ich vermute, dass Konkurrenten auf kaggle ihre eigenen Automatisierungstechniken entwickeln. b) Anwenden statistischer Standardmodelle auf große Datenmengen: Denken Sie beispielsweise an Google Translate, Recommender-Systeme usw. (niemand behauptet, dass z. B. Menschen so übersetzen oder empfehlen ... aber es ist ein nützliches Werkzeug). Die zugrunde liegenden statistischen Modelle sind unkompliziert, aber die Anwendung dieser Methoden auf Milliarden von Datenpunkten ist mit enormen Rechenproblemen verbunden.
Data Mining ist der Höhepunkt dieser Philosophie ... die Entwicklung automatisierter Methoden zum Extrahieren von Wissen aus Daten. Es hat jedoch einen praktischeren Ansatz: Im Wesentlichen wird es auf Verhaltensdaten angewendet, bei denen es keine übergreifende wissenschaftliche Theorie gibt (Marketing, Betrugserkennung, Spam usw.) und das Ziel ist, die Analyse großer Datenmengen zu automatisieren: ohne Zweifel a Statistikteams könnten bei genügend Zeit bessere Analysen erstellen, aber es ist kostengünstiger, einen Computer zu verwenden. Wie D. Hand erklärt, handelt es sich außerdem um die Analyse von Sekundärdaten - Daten, die ohnehin protokolliert werden, und nicht um Daten, die explizit gesammelt wurden, um eine wissenschaftliche Frage in einem soliden Versuchsaufbau zu beantworten. Data Mining-Statistiken und mehr, D Hand
Ich würde also zusammenfassen, dass traditionelle KI eher logisch als statistisch ist, maschinelles Lernen Statistiken ohne Theorie und Statistik "Statistiken ohne Computer" ist und Data Mining die Entwicklung automatisierter Tools für statistische Analysen mit minimalem Benutzereingriff ist.
quelle
Beim Data Mining geht es darum, verborgene Muster oder unbekanntes Wissen zu entdecken, mit denen Menschen Entscheidungen treffen können.
Beim maschinellen Lernen geht es darum, ein Modell zum Klassifizieren neuer Objekte zu lernen.
quelle
Künstliche Intelligenz könnte meiner Meinung nach als "Obermenge" von Bereichen wie maschinelles Lernen, Data Mining, Mustererkennung usw. angesehen werden.
Statistik ist ein Bereich der Mathematik, der alle mathematischen Modelle, Techniken und Theoreme umfasst, die in der KI verwendet werden.
Maschinelles Lernen ist ein Bereich der KI, der alle Algorithmen umfasst, die die oben genannten statistischen Modelle anwenden und die Daten, dh prädiktive Analysen wie Clustering und Klassifizierung, sinnvoll nutzen.
Data Mining ist die Wissenschaft, die alle oben genannten Techniken (hauptsächlich maschinelles Lernen) verwendet, um nützliche und wichtige Muster aus Daten zu extrahieren. Data Mining hat normalerweise mit dem Extrahieren nützlicher Informationen aus großen Datenmengen, dh Big Data, zu tun.
quelle
Wie wäre es mit: Maschinen das Lernen beibringen
Erkennen Sie sinnvolle Muster in Daten: Data Mining
Prognostizieren Sie das Ergebnis anhand bekannter Muster: ML
Hier finden Sie neue Funktionen zum erneuten Zuordnen von Rohdaten: AI
Dieses Vogelgehirn braucht wirklich einfache Definitionen.
quelle
Oft versucht Data Mining, zukünftige Daten vorherzusagen oder zu erklären, warum etwas passiert.
Statistiken werden eher verwendet, um Hypothesen in meinen Augen zu validieren. Dies ist jedoch eine subjektive Diskussion.
Ein offensichtlicher Unterschied zwischen Statistikern und Data Minern besteht in der Art der zusammenfassenden Statistik, die sie betrachten.
Statistiken beschränken sich häufig auf R² und Genauigkeit, während Data Miner sich mit AUC-, ROC- und Liftkurven usw. befassen und möglicherweise auch eine kostenbezogene Genauigkeitskurve verwenden.
Data-Mining-Pakete (zum Beispiel das Open-Source-Programm Weka) verfügen über integrierte Techniken zur Auswahl von Eingaben, zur Unterstützung der Klassifizierung von Vektormaschinen usw. Diese fehlen jedoch größtenteils in statistischen Paketen wie JMP. Ich habe kürzlich einen Kurs über "Data Mining in JMP" von den JMP-Leuten besucht. Obwohl es sich um ein visuell starkes Paket handelt, fehlen einige wichtige Data Mining-Techniken vor / nach / während des Betriebs. Die Eingabeauswahl wurde manuell vorgenommen, um einen Einblick in die Daten zu erhalten, und zwar noch im Data Mining. Sie möchten nur Algorithmen für große Datenmengen intelligent freigeben und automatisch sehen, was herauskommt. Der Kurs wurde offensichtlich von Statistikleuten unterrichtet, was die unterschiedliche Denkweise zwischen den beiden hervorhob.
quelle