Während ich in den letzten Jahren gelegentlich einige Massenmarktwerke zur Chaostheorie las, begann ich mich zu fragen, wie verschiedene Aspekte davon auf Data Mining und verwandte Bereiche wie neuronale Netze, Mustererkennung, Unsicherheitsmanagement usw. angewendet werden könnten Ich habe so wenige Beispiele für solche Anwendungen in der veröffentlichten Forschung gefunden, dass ich mich frage, ob a) sie tatsächlich in bekannten, veröffentlichten Experimenten und Projekten in die Praxis umgesetzt wurden und b) wenn nicht, warum sie in diesen Zusammenhängen so wenig verwendet werden Felder?

Die meisten Diskussionen über die Chaostheorie, die ich bisher gesehen habe, drehen sich um wissenschaftliche Anwendungen, die durchaus nützlich sind, aber wenig mit Data Mining und verwandten Bereichen wie der Mustererkennung zu tun haben. Eines der archetypischen Beispiele ist das Drei-Körper-Problem aus der Physik. Ich möchte auf die Erörterung gewöhnlicher wissenschaftlicher Anwendungen dieser Art verzichten und die Frage nur auf diejenigen Anwendungen beschränken, die offensichtlich für das Data Mining und verwandte Gebiete relevant sind, die in der Literatur selten und weit voneinander entfernt zu sein scheinen. Die nachstehende Liste potenzieller Anwendungen kann als Ausgangspunkt für die Suche nach veröffentlichten Forschungsergebnissen verwendet werden. Mich interessieren jedoch nur die Anwendungen, die tatsächlich in die Praxis umgesetzt wurden, sofern vorhanden. Was ich suche, sind bekannte Implementierungen der Chaostheorie zum Data Mining, im Gegensatz zu der Liste der möglichen Anwendungen, die viel breiter ist. Hier ist eine kleine Auswahl von Ideen für Data Mining-Anwendungen, die mir beim Lesen eingefallen sind. Vielleicht ist keiner von ihnen pragmatisch, vielleicht werden einige in der Praxis eingesetzt, aber ich spreche von Begriffen, mit denen ich noch nicht vertraut bin:

1. Identifizieren von selbstähnlichen Strukturen in der Mustererkennung, wie es Mandelbrot vor einigen Jahrzehnten bei Fehlerbündeln in analogen Telefonleitungen auf praktische Weise getan hat.
2. Begegnung mit Feigenbaums Konstante in den Bergbauergebnissen (möglicherweise auf ähnliche Weise, wie Stringtheoretiker überrascht waren, als Maxwells Gleichungen im Verlauf ihrer Forschung an unerwarteten Stellen auftauchten).
3. Ermittlung der optimalen Bittiefe für neuronale Nettogewichte und verschiedene Mining-Tests. Ich wunderte mich über diese wegen der verschwindend kleinen numerischen Skalen, bei denen die Empfindlichkeit gegenüber Anfangsbedingungen ins Spiel kommt, die teilweise für die Unvorhersehbarkeit von chaosbezogenen Funktionen verantwortlich sind.
4. Wenn man den Begriff der fraktalen Dimensionen auf andere Weise verwendet, die nicht unbedingt mit faszinierenden fraktalen Kuriositäten zusammenhängen, wie Menger-Schwämme, Koch-Kurven oder Sierpinski-Teppiche. Vielleicht kann das Konzept auf die Dimensionen von Bergbaumodellen auf eine vorteilhafte Weise angewendet werden, indem sie als Bruchmodelle behandelt werden?
5. Ableiten von Potenzgesetzen, wie sie in Fraktalen zum Tragen kommen.
6. Da die in Fraktalen auftretenden Funktionen nichtlinear sind, frage ich mich, ob es eine praktische Anwendung für die nichtlineare Regression gibt.
7. Die Chaostheorie hat einige tangentiale (und manchmal überbewertete) Beziehungen zur Entropie. Daher frage ich mich, ob es eine Möglichkeit gibt, Shannons Entropie (oder Grenzen für sie und ihre Verwandten) aus den in der Chaostheorie verwendeten Funktionen zu berechnen oder umgekehrt.
8. Periodenverdopplungsverhalten in Daten identifizieren.
9. Identifizieren der optimalen Struktur für ein neuronales Netz durch intelligente Auswahl derjenigen, die sich am wahrscheinlichsten auf nützliche Weise "selbst organisieren".
10. Chaos und Fraktale usw. hängen auch tangential mit der Komplexität der Berechnungen zusammen. Ich frage mich, ob Komplexität zur Identifizierung chaotischer Strukturen verwendet werden kann oder umgekehrt.
11. Ich habe zum ersten Mal von dem Lyapunov-Exponenten in Bezug auf die Chaostheorie gehört und habe ihn seitdem einige Male in Rezepten für bestimmte neuronale Netze und Diskussionen über Entropie bemerkt.

Es gibt wahrscheinlich Dutzende anderer Beziehungen, die ich hier nicht aufgelistet habe. Das alles kam von oben auf meinen Kopf. Ich bin nicht eng an konkreten Antworten auf diese speziellen Spekulationen interessiert, sondern wirf sie nur als Beispiele für die Art von Anwendungen heraus, die in der Natur existieren könnten. Ich würde gerne Antworten erhalten, die Beispiele aktueller Forschung und vorhandener Umsetzungen solcher Ideen enthalten, sofern die Anwendungen speziell für Data Mining geeignet sind.

Es gibt wahrscheinlich noch andere Implementierungen, die mir nicht bekannt sind, selbst in Bereichen, mit denen ich besser vertraut bin (wie Informationstheorie, Fuzzy-Mengen und neuronale Netze), und andere, in denen ich noch weniger kompetent bin, wie Regression, also mehr Input ist willkommen. Mein praktischer Zweck ist es, herauszufinden, ob ich mehr in das Erlernen bestimmter Aspekte der Chaostheorie investieren soll oder nicht, was ich in den Hintergrund rücken werde, wenn ich keinen offensichtlichen Nutzen finde.

Ich habe eine Suche von CrossValidated aber nicht sehen , keine Themen, die direkt auf die utilitaristischen Anwendungen der Chaostheorie , um Daten adressieren Bergbau usw. Der nächstgelegene ich kommen konnte den Faden wurde Chaostheorie, Gleichung freie Modellierung und nicht-parametrischer Statistiken , die Angebote mit einer bestimmten Teilmenge.

Data Mining (DM) als praktischer Ansatz scheint die Ansätze der mathematischen Modellierung (MM) fast zu ergänzen und sogar einer Chaostheorie (CT) zu widersprechen. Ich werde zuerst über DM und allgemeines MM sprechen und mich dann auf CT konzentrieren.

Mathematische Modellierung

In der ökonomischen Modellierung galt DM bis vor kurzem fast als Tabu, als Versuch, nach Korrelationen zu fischen, anstatt etwas über Ursachen und Zusammenhänge zu lernen. Weitere Informationen finden Sie in diesem Beitrag im SAS-Blog. Die Einstellung ändert sich, aber es gibt viele Fallstricke im Zusammenhang mit falschen Beziehungen , Datenausbrüchen , P-Hacking usw.

In einigen Fällen scheint DM ein legitimer Ansatz zu sein, selbst in Bereichen mit etablierten MM-Praktiken. Zum Beispiel kann DM verwendet werden, um in physikalischen Experimenten nach Partikelwechselwirkungen zu suchen, die eine Menge Daten generieren, denken Sie an Partikelzerstörer. In diesem Fall haben Physiker möglicherweise eine Vorstellung davon, wie die Partikel aussehen, und suchen nach den Mustern in den Datensätzen.

Chaostheorie

Chaotische Systeme sind wahrscheinlich besonders resistent gegen Analysen mit DM-Techniken. Betrachten Sie eine bekannte lineare Kongruenzmethode ( LCG ), die in gängigen Psudo-Zufallszahlengeneratoren verwendet wird . Es ist im Wesentlichen ein chaotisches System . Deshalb wird es verwendet, um Zufallszahlen zu "fälschen". Ein guter Generator ist von einer Zufallszahlenfolge nicht zu unterscheiden. Dies bedeutet, dass Sie mithilfe statistischer Methoden nicht feststellen können, ob es sich um einen Zufallsgenerator handelt. Ich werde hier auch Data Mining einbeziehen. Versuchen Sie, mit Data Mining ein Muster in der von RAND () generierten Sequenz zu finden! Wie Sie wissen, handelt es sich abermals um eine vollständig deterministische Sequenz, deren Gleichungen ebenfalls äußerst einfach sind.

Bei der Chaostheorie geht es nicht darum, zufällig nach Ähnlichkeitsmustern zu suchen. Die Chaostheorie beinhaltet das Erlernen von Prozessen und dynamischen Beziehungen, so dass sich kleine Störungen im System verstärken und instabiles Verhalten hervorrufen, während in diesem Chaos irgendwie stabile Muster entstehen. All diese coolen Sachen passieren aufgrund der Eigenschaften von Gleichungen. Die Forscher untersuchen dann diese Gleichungen und ihre Systeme. Dies unterscheidet sich stark von der Denkweise des angewandten Data Mining.

Sie können beispielsweise über Selbstähnlichkeitsmuster sprechen, während Sie chaotische Systeme untersuchen, und feststellen, dass Data Miner auch über die Suche nach Mustern sprechen. Diese Handles "Muster" -Konzept jedoch sehr unterschiedlich. Das chaotische System würde diese Muster aus den Gleichungen erzeugen. Sie können versuchen, ihre Gleichungen zu finden, indem sie tatsächliche Systeme usw. beobachten, aber sie beschäftigen sich immer irgendwann mit Gleichungen. Data Miner würden von der anderen Seite kommen und nicht viel über die interne Struktur des Systems wissen oder raten und versuchen, nach Mustern zu suchen. Ich glaube nicht, dass diese beiden Gruppen jemals dieselben tatsächlichen Systeme oder Datensätze betrachten.

Ein weiteres Beispiel ist die einfachste Logistikkarte, mit der Feigenbaum seine berühmte zeitliche Doppelgabelung erstellt hat.

Die Gleichung ist lächerlich einfach:

Das Seltsamste, was ich beim Nachlesen der Chaostheorie zur Beantwortung dieser Frage entdeckt habe, war ein erstaunlicher Mangel an veröffentlichten Forschungsergebnissen, in denen Data Mining und seine Verwandten die Chaostheorie wirksam einsetzen. Dies geschah trotz der konzertierten Bemühungen, sie zu finden, indem Quellen wie AB Ҫambels Applied Chaos Theory: Ein Paradigma für Komplexität und Alligood und das Chaos von al.: Eine Einführung in dynamische Systeme herangezogen wurden (letzteres ist unglaublich nützlich als Quellenbuch für dieses Thema) und ihre Bibliographien durchsuchen. Nach all dem sollte ich nur eine einzige Studie entwickeln, die sich qualifizieren könnte, und ich musste die Grenzen des „Data Mining“ erweitern, um nur diesen Randfall zu berücksichtigen: Ein Team an der Universität von Texas forschte an Belousov-Zhabotinsky (BZ) -Reaktionen (von denen bereits bekannt war, dass sie zu Aperiodizität neigen) und entdeckte versehentlich Unstimmigkeiten in der Malonsäure, die in ihren Experimenten aufgrund chaotischer Muster verwendet wurde Lieferant. [1] Es gibt wahrscheinlich noch andere - ich bin kein Spezialist für Chaostheorie und kann die Literatur kaum erschöpfend bewerten -, aber das starke Missverhältnis zu gewöhnlichen wissenschaftlichen Verwendungen wie dem Drei-Körper-Problem aus der Physik würde nicht viel ändern, wenn wir sie alle aufzählen würden. In der Tat, in der Zwischenzeit, als diese Frage geschlossen wurde, Ich überlegte, es unter dem Titel "Warum gibt es so wenige Implementierungen der Chaostheorie in Data Mining und verwandten Bereichen?" Neu zu schreiben. Dies steht nicht im Einklang mit der unklaren, aber weit verbreiteten Meinung, dass es eine Vielzahl von Anwendungen in Data Mining und verwandten Bereichen geben sollte Felder wie neuronale Netze, Mustererkennung, Unsicherheitsmanagement, Fuzzy-Mengen usw .; Schließlich ist die Chaostheorie auch ein aktuelles Thema mit vielen nützlichen Anwendungen. Ich musste lange überlegen, wo genau die Grenzen zwischen diesen Feldern liegen, um zu verstehen, warum meine Suche erfolglos und mein Eindruck falsch war.

Die Antwort

Die kurze Erklärung für dieses starke Ungleichgewicht in der Anzahl der Studien und die Abweichung von den Erwartungen kann der Tatsache zugeschrieben werden, dass Chaostheorie und Data Mining usw. zwei sauber getrennte Fragenklassen beantworten; Die scharfe Zweiteilung zwischen ihnen ist offensichtlich, obwohl sie so grundlegend ist, dass sie unbemerkt bleibt, ähnlich wie das Betrachten der eigenen Nase. Es mag eine Rechtfertigung für die Annahme geben, dass die relative Neuheit der Chaostheorie und Felder wie Data Mining den Mangel an Implementierungen erklären, aber wir können davon ausgehen, dass das relative Ungleichgewicht auch dann anhält, wenn diese Felder ausgereift sind, weil sie sich einfach auf ganz unterschiedliche Seiten von beziehen die gleiche Münze. Bisher wurden fast alle Implementierungen in Studien bekannter Funktionen mit genau definierten Ergebnissen durchgeführt, die einige verwirrende chaotische Aberrationen aufwiesen. Während Data Mining und einzelne Techniken wie neuronale Netze und Entscheidungsbäume die Bestimmung einer unbekannten oder schlecht definierten Funktion beinhalten. Verwandte Felder wie Mustererkennung und Fuzzy-Mengen können ebenfalls als Organisation der Ergebnisse von Funktionen angesehen werden, die ebenfalls häufig unbekannt oder schlecht definiert sind, wenn die Mittel dieser Organisation ebenfalls nicht ohne weiteres ersichtlich sind. Dies schafft eine praktisch unüberwindliche Kluft, die nur unter bestimmten seltenen Umständen überwunden werden kann - aber auch diese können unter der Überschrift eines einzelnen Anwendungsfalls zusammengefasst werden: Verhindern aperiodischer Interferenzen mit Data Mining-Algorithmen. Verwandte Felder wie Mustererkennung und Fuzzy-Mengen können ebenfalls als Organisation der Ergebnisse von Funktionen angesehen werden, die ebenfalls häufig unbekannt oder schlecht definiert sind, wenn die Mittel dieser Organisation ebenfalls nicht ohne weiteres ersichtlich sind. Dies schafft eine praktisch unüberwindliche Kluft, die nur unter bestimmten seltenen Umständen überwunden werden kann - aber auch diese können unter der Überschrift eines einzelnen Anwendungsfalls zusammengefasst werden: Verhindern aperiodischer Interferenzen mit Data Mining-Algorithmen. Verwandte Felder wie Mustererkennung und Fuzzy-Mengen können ebenfalls als Organisation der Ergebnisse von Funktionen angesehen werden, die ebenfalls häufig unbekannt oder schlecht definiert sind, wenn die Mittel dieser Organisation ebenfalls nicht ohne weiteres ersichtlich sind. Dies schafft eine praktisch unüberwindliche Kluft, die nur unter bestimmten seltenen Umständen überwunden werden kann - aber auch diese können unter der Überschrift eines einzelnen Anwendungsfalls zusammengefasst werden: Verhindern aperiodischer Interferenzen mit Data Mining-Algorithmen.

Inkompatibilität mit dem Chaos Science Workflow

Der typische Arbeitsablauf in der „Chaoswissenschaft“ besteht darin, eine rechnerische Analyse der Ergebnisse einer bekannten Funktion durchzuführen, häufig zusammen mit visuellen Hilfsmitteln des Phasenraums, wie Bifurkationsdiagrammen, Hénon-Karten, Poincaré-Schnitten, Phasendiagrammen und Phasenverläufen. Die Tatsache, dass Forscher sich auf Computerexperimente verlassen, zeigt, wie schwer chaotische Effekte zu finden sind. Das kann man normalerweise nicht mit Stift und Papier feststellen. Sie treten auch ausschließlich in nichtlinearen Funktionen auf. Dieser Workflow ist nur durchführbar, wenn wir über eine bekannte Funktion verfügen, mit der wir arbeiten können. Data Mining liefert möglicherweise Regressionsgleichungen, Fuzzy-Funktionen und dergleichen, aber alle haben dieselbe Einschränkung: Sie sind nur allgemeine Näherungswerte mit einem viel größeren Fehlerfenster. Demgegenüber sind die bekannten chaotischen Funktionen relativ selten. Ebenso wie die Eingabebereiche, die chaotische Muster ergeben, ist ein hohes Maß an Spezifität erforderlich, um auch chaotische Effekte zu testen. Irgendwelche seltsamen Attraktoren, die im Phasenraum unbekannter Funktionen vorhanden sind, würden sich sicherlich verschieben oder ganz verschwinden, wenn sich ihre Definitionen und Eingaben ändern, was die von Autoren wie Alligood et al.

Chaos als Kontaminant in Data Mining-Ergebnissen

Tatsächlich ist das Verhältnis von Data Mining und seinen Verwandten zur Chaostheorie praktisch widersprüchlich. Dies ist im wahrsten Sinne des Wortes der Fall, wenn wir die Kryptoanalyse allgemein als eine bestimmte Form des Data Mining betrachten, da ich auf mindestens ein Forschungspapier zur Nutzung des Chaos in Verschlüsselungsschemata gestoßen bin (ich kann das Zitat derzeit nicht finden, aber ich kann jagen) auf Anfrage). Für einen Data Miner ist das Vorhandensein von Chaos normalerweise eine schlechte Sache, da die scheinbar unsinnigen Wertebereiche, die er ausgibt, den ohnehin mühsamen Prozess der Annäherung an eine unbekannte Funktion erheblich erschweren können. Das Chaos in Data Mining und verwandten Bereichen wird am häufigsten verwendet, um es auszuschließen, was keine leichte Aufgabe ist. Wenn chaotische Effekte vorhanden, aber nicht entdeckt sind, sind ihre Auswirkungen auf ein Data-Mining-Unternehmen möglicherweise schwer zu bewältigen. Stellen Sie sich vor, wie leicht ein gewöhnliches neuronales Netz oder ein gewöhnlicher Entscheidungsbaum die unsinnig erscheinenden Ausgaben eines chaotischen Attraktors überdecken kann oder wie plötzliche Spitzen in den Eingabewerten die Regressionsanalyse sicherlich verwirren und schlechten Stichproben oder anderen Fehlerquellen zugeschrieben werden können. Die Seltenheit chaotischer Effekte unter allen Funktionen und Eingabebereichen bedeutet, dass die Untersuchung durch die Experimentatoren stark beeinträchtigt würde.

Methoden zur Erkennung von Chaos in Data Mining-Ergebnissen

Bestimmte mit der Chaostheorie verbundene Maßnahmen sind nützlich, um aperiodische Effekte zu identifizieren, wie die Kolmogorov-Entropie und die Anforderung, dass der Phasenraum einen positiven Lyapunov-Exponenten aufweist. Diese sind beide auf der Checkliste für die Chaoserkennung [2] in AB Ҫambels Applied Chaos Theory, aber die meisten sind für approximierte Funktionen, wie den Lyapunov-Exponenten, der bestimmte Funktionen mit bekannten Grenzen erfordert, nicht nützlich. Die allgemeine Vorgehensweise, die er umreißt, kann jedoch in Data-Mining-Situationen nützlich sein. Ҫambels Ziel ist letztendlich ein Programm der „Chaoskontrolle“, dh der Beseitigung der störenden aperiodischen Effekte. [3] Andere Methoden wie die Berechnung der Box-Counting- und Korrelationsdimensionen zur Ermittlung der Bruchdimensionen, die zu Chaos führen, sind in Data-Mining-Anwendungen möglicherweise praktischer als die von Lyapunov und anderen auf seiner Liste. Ein weiteres verräterisches Zeichen für chaotische Effekte ist das Vorhandensein von Periodenverdopplungs- (oder Verdreifachungs- und darüber hinausgehenden) Mustern in Funktionsausgaben, die in Phasendiagrammen häufig einem aperiodischen (dh „chaotischen“) Verhalten vorausgehen.

Differenzierung tangentialer Anwendungen

Dieser primäre Anwendungsfall muss von einer separaten Klasse von Anwendungen unterschieden werden, die sich nur tangential auf die Chaostheorie beziehen. Bei näherer Betrachtung bestand die Liste der „potenziellen Anwendungen“, die ich in meiner Frage angegeben habe, tatsächlich fast ausschließlich aus Ideen zur Nutzung von Konzepten, von denen die Chaostheorie abhängt, die jedoch unabhängig angewendet werden können, wenn kein aperiodisches Verhalten vorliegt (mit Ausnahme der Periodenverdopplung). Ich dachte kürzlich an eine neuartige potenzielle Nischenverwendung, die ein aperiodisches Verhalten erzeugt, um neuronale Netze aus lokalen Minima herauszuholen, aber auch dies würde auf die Liste der tangentialen Anwendungen gehören. Viele von ihnen wurden als Ergebnis der Erforschung der Chaoswissenschaften entdeckt oder ausgearbeitet, können aber auch auf andere Gebiete übertragen werden. Diese „tangentialen Anwendungen“ haben nur Fuzzy-Verbindungen, bilden jedoch eine eigene Klasse. durch eine harte Grenze vom Hauptanwendungsfall der Chaostheorie im Data Mining getrennt; Die erste Methode nutzt bestimmte Aspekte der Chaostheorie ohne die aperiodischen Muster, während die letztere ausschließlich darauf abzielt, das Chaos als komplizierenden Faktor für Data-Mining-Ergebnisse auszuschließen, möglicherweise unter Verwendung von Voraussetzungen wie der Positivität des Lyapunov-Exponenten und der Erkennung der Periodenverdopplung . Wenn wir zwischen der Chaostheorie und anderen Begriffen, die sie korrekt verwendet, unterscheiden, ist leicht zu erkennen, dass die Anwendungen der ersteren von Natur aus auf bekannte Funktionen in gewöhnlichen wissenschaftlichen Studien beschränkt sind. Es gibt wirklich guten Grund, sich über die möglichen Anwendungen dieser sekundären Konzepte in Abwesenheit von Chaos zu freuen. aber auch Grund zur Besorgnis über die kontaminierenden Auswirkungen unerwarteten aperiodischen Verhaltens auf das Data Mining, wenn es vorhanden ist. Solche Gelegenheiten werden selten sein, aber diese Seltenheit wird wahrscheinlich auch bedeuten, dass sie unentdeckt bleiben. Die Methode von Ҫambel könnte jedoch hilfreich sein, um solche Probleme zu vermeiden.

[1] S. 143-147, Alligood, Kathleen T .; Sauer, Tim D. und Yorke, James A., 2010, Chaos: Eine Einführung in dynamische Systeme, Springer: New York. [2] S. 208-213, ,ambel, AB, 1993, Applied Chaos Theory: Ein Paradigma für Komplexität, Academic Press, Inc .: Boston. [3] p. 215, Ҫambel.