Adaptive Kernel-Dichteschätzer?

12

Kann jemand über seine Erfahrungen mit einem adaptiven Kernel-Dichteschätzer berichten?
(Es gibt viele Synonyme: adaptive | variable | variable-width, KDE | histogram | interpolator ...)

Die variable Schätzung der Kerneldichte besagt, dass "wir die Breite des Kernels in verschiedenen Regionen des Probenraums variieren. Es gibt zwei Methoden ..." tatsächlich mehr: Nachbarn innerhalb eines Radius, nächstgelegene Nachbarn von KNN (K in der Regel fest), Kd-Bäume, multigrid ...
Natürlich kann keine einzelne Methode alles, aber adaptive Methoden sehen attraktiv aus.
Sehen Sie sich zum Beispiel das schöne Bild eines adaptiven 2D-Netzes in der Finite-Elemente-Methode an .

Ich würde gerne hören, was bei echten Daten funktioniert hat / was nicht, insbesondere bei> = 100.000 verstreuten Datenpunkten in 2D oder 3D.

Hinzugefügt am 2. November: Hier ist eine Darstellung einer "klumpigen" Dichte (stückweise x ^ 2 * y ^ 2), einer Schätzung des nächsten Nachbarn und Gaußscher KDE mit Scott-Faktor. Während ein (1) Beispiel nichts beweist, zeigt es, dass NN ziemlich gut für scharfe Hügel geeignet ist (und mit KD-Bäumen in 2D, 3D schnell ist ...) Alt-Text

denis
quelle
Können Sie etwas mehr Kontext geben, was Sie unter "was funktioniert" oder den jeweiligen Zielen Ihres Projekts verstehen? Ich habe sie verwendet, um räumliche Punktprozesse zu visualisieren, aber ich bezweifle, dass Sie das im Sinn hatten, als Sie diese Frage stellten.
Andy W

Antworten:

7

n450np4p ist die Anzahl der Dimensionen) als die Einstellungen, in denen die Methode des variablen Kernels mit den Einstellungen mit fester Breite konkurriert (Ihrer Frage nach befinden Sie sich nicht in diesen Einstellungen).

Die Intuition hinter diesen Ergebnissen ist, dass, wenn Sie sich nicht in sehr spärlichen Umgebungen befinden, die lokale Dichte einfach nicht genug variiert, damit der Gewinn an Vorspannung den Verlust an Effizienz übertrifft (und daher die AMISE des Kernels mit variabler Breite im Vergleich zum AMISE - Kernel zunimmt AMISE fester Breite). Angesichts der großen Stichprobengröße (und der geringen Abmessungen) ist der Kernel mit fester Breite bereits sehr lokal, wodurch potenzielle Gewinne in Bezug auf die Verzerrung verringert werden.

user603
quelle
Danke Kwak. "... für Gaußsche verteilte Zufallsvariablen"; Wussten Sie von neueren Arbeiten für "klumpige" Distributionen?
Denis
@Denis:> 'Klumpig' =? Konzentriert =? Mit schmaleren Schwänzen als der Gaußsche?
User603
Ich bin kein Experte, aber wie "Dataset Clumpiness" in der Veröffentlichung Lang et al., "Insights on fast Kernel Density Estimation algorithms", 2004, 8p
denis
@ Denis:> Ich würde sagen, es macht das Problem am schlimmsten (dh NN-Kernel sollte besser auf weniger klumpigen Daten arbeiten). Ich habe eine intuitive Erklärung, aber sie passt nicht hierher. Vielleicht möchten Sie dies auf der Hauptplatine als separate Frage (Link zu dieser Frage) veröffentlichen, um zusätzliche Meinungen zu haben.
User603
-1

Loess / Lowess ist im Grunde eine variable KDE-Methode, wobei die Breite des Kernels durch den Nearest-Neighbour-Ansatz festgelegt wird. Ich habe festgestellt, dass es ziemlich gut funktioniert, sicherlich viel besser als jedes Modell mit fester Breite, wenn die Dichte der Datenpunkte stark variiert.

Eine Sache, die Sie bei KDE und mehrdimensionalen Daten beachten sollten, ist der Fluch der Dimensionalität. Wenn andere Dinge gleich sind, gibt es innerhalb eines festgelegten Radius weit weniger Punkte, wenn p ~ 10, als wenn p ~ 2. Dies ist möglicherweise kein Problem für Sie, wenn Sie nur 3D-Daten haben, aber es ist etwas zu beachten.

Hong Ooi
quelle
3
Loess ist eine REGRESSION-Methode mit variablem Kernel. Die Frage nach der Schätzung der Dichte des variablen Kernels.
Rob Hyndman
Hoppla, du hast recht. Die Frage falsch verstanden.
Hong Ooi
@Rob, entschuldigen Sie meine naiven Fragen: Wenn das Variieren der Kernelbreite (manchmal) für die lokale Regression / Kernelglättung gut ist, warum ist es für die Dichteschätzung schlecht? Ist die Dichteschätzung nicht ein Fall der f () - Schätzung für f () == density ()?
Denis
@ Hong Ooi, wie viele Punkte in welchem ​​Ndim hast du benutzt? Danke
Denis
@Denis. Gute Frage. Können Sie es bitte als richtige Frage auf der Website hinzufügen und wir werden sehen, welche Antworten die Leute finden können.
Rob Hyndman