Wenn der Epanechnikov-Kernel bei der Kernel-Dichteschätzung theoretisch optimal ist, warum wird er nicht häufiger verwendet?

Ich habe (zum Beispiel hier ) gelesen, dass der Epanechnikov-Kernel zumindest im theoretischen Sinne optimal ist, wenn man eine Kerneldichteschätzung durchführt. Wenn dies zutrifft, warum wird der Gaußsche Kern dann so häufig als Standardkern oder in vielen Fällen als einziger Kern in Bibliotheken zur Dichteschätzung angezeigt?

nonparametric kernel-smoothing John Rauser
quelle

Hier flossen zwei Fragen zusammen: Warum nicht häufiger? warum ist Gauß oft der Standard- / einzige Kernel? Es mag trivial klingen, aber der Name Epanechnikov scheint für Personen, die diese Sprache nicht fließend sprechen, schwer zu buchstabieren und korrekt auszusprechen. (Ich bin mir nicht einmal sicher, ob E. Russe war. Ich habe keine biografischen Details gefunden.) Wenn ich z. B. ein Bigewicht zeige, kommentiere ich auch die Glockenform, die endliche Breite und das Verhalten an den Rändern, wie es scheint einfacher zu verkaufen. Epanechnikov ist die Standardeinstellung in Stata's kdensity.

Nick Cox

Ich würde hinzufügen, dass diese theoretische Optimalität in der Praxis, wenn überhaupt, wenig Bedeutung hat.

Xi'an

Es ist ein bekannter Name. Wenn es Sinn macht, einen Kernel zu verwenden, der keine endliche Unterstützung hat, sollten Sie es vorziehen. Meiner Erfahrung nach macht es keinen Sinn, daher erscheint die Wahl sozial und nicht technisch.

Nick Cox

@ NickCox, ja, E war ein russischer Typ, es ist keine Abkürzung :) Er war eine rätselhafte Person, das ist alles, was Sie jemals über ihn finden konnten. Ich erinnere mich auch an ein sehr nützliches Buch, das jemand mit seinem Namen über programmierbare Taschenrechner geschrieben hat, ja, es war damals eine große Sache

Aksakal,

@amoeba Er arbeitete bei Институт радиотехники и электроники Российской Академии Наук им. Котельникова, ich wette, er hat klassifizierte Forschung, vollständiger Name ist Епанечников Виктор Александрович

Aksakal

Antworten:

Der Grund, warum der Epanechnikov-Kernel wegen seiner theoretischen Optimalität nicht allgemein verwendet wird, kann durchaus darin liegen, dass der Epanechnikov-Kernel theoretisch nicht optimal ist . Tsybakov kritisiert ausdrücklich das Argument, dass der Epanechnikov-Kernel "theoretisch optimal" ist, auf den Seiten 16-19 der Einführung in die nichtparametrische Schätzung (Abschnitt 1.2.4).

Der Versuch, unter einigen Annahmen über den Kern $K$ und eine feste Dichte $p$ , hat die Form des mittleren integrierten quadratischen Fehlers

\begin{matrix} (1) & \frac{1}{n h} \int K^{2} (u) d u + \frac{h^{4}}{4} S_{K}^{2} \int (p^{″} (x))^{2} d x . \end{matrix}

$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$

Die Hauptkritik an Tsybakov scheint die Minimierung gegenüber nicht-negativen Kerneln zu sein, da es oft möglich ist, leistungsfähigere Schätzer zu erhalten, die sogar nicht-negativ sind, ohne sich auf nicht-negative Kernel zu beschränken.

Der erste Schritt des Arguments für den Epanechnikov-Kernel beginnt mit der Minimierung von $(1)$ über $h$ und allen nicht-negativen Kerneln (und nicht allen Kerneln einer breiteren Klasse), um eine "optimale" Bandbreite für $K$

h^{M ich S E} (K) = {(\frac{\int K^{2}}{n S_{K}^{2} \int (p^{″})^{2}})}^{1 / 5}

$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$

und der "optimale" Kernel (Epanechnikov)

K^{*} (u) = \frac{3}{4} (1 - u^{2})_{+}

$K^*(u) = \frac{3}{4}(1-u^2)_+$

dessen mittlerer integrierter quadratischer Fehler ist:

h^{M ich S E} (K^{*}) = {(\frac{15}{n \int (p^{″})^{2}})}^{1 / 5} .

$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$

Dies sind jedoch keine realisierbaren Entscheidungen, da sie von der Kenntnis (über $p''$ ) der unbekannten Dichte $p$ abhängen - daher sind sie" Orakel "-Qualitäten.

Ein Vorschlag von Tsybakov impliziert, dass das asymptotische MISE für das Epanechnikov-Orakel ist:

\begin{matrix} (2) & lim_{n \to \infty} n^{4 / 5} E_{p} \int (p_{n}^{E} (x) - p (x))^{2} d x = \frac{3^{4 / 5}}{5^{1 / 5} 4} {(\int (p^{″} (x))^{2} d x)}^{1 / 5} . \end{matrix}

$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$

$S_K =0$ $\varepsilon >0$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int ({\hat{p}}_{n} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$

Auch wenn nicht notwendigerweise nicht negativ ist , ein nach wie vor hat das gleiche Ergebnis für den positiven Teil Schätzer, $\hat{p}_n$ $p_n^+ := \max(0, \hat{p}_n)$ $K$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int (p_{n}^{+} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$

$\varepsilon$ $p$

$p$ $0$

$p$ $p$ von Dichten. Er weist auch darauf hin, dass das Argument immer noch funktioniert, wenn die MSE anstelle von MISE verwendet wird.

EDIT: Siehe auch Korollar 1.1. auf S.25, wo der Epanechnikov-Kernel nach einem anderen Kriterium als unzulässig ausgewiesen wird. Tsybakov scheint den Epanechnikov-Kernel wirklich nicht zu mögen.

Chill2Macht
quelle

+1 für eine interessante Lektüre, aber dies beantwortet nicht, warum der Gaußsche Kernel häufiger verwendet wird als der Epanechnikov-Kernel: beide sind nicht negativ.

Amöbe sagt Reinstate Monica

@amoeba Das ist wahr. Zumindest beantwortet dies die Frage im Titel, bei der es nur um den Epanechnikov-Kernel geht. (Dh es spricht die Prämisse für die Frage an und zeigt, dass sie falsch ist.)

Chill2Macht

(+1) Eine Sache, die mit dem Schema von Tsybakov, den positiven Teil einer möglicherweise negativen Kernel-Schätzung zu nehmen, zu beachten ist, ist, dass der resultierende Dichteschätzer zwar eine bessere MSE-Konvergenz zur wahren Dichte ergeben könnte wird die Dichteschätzung im Allgemeinen keine gültige Dichte (da Sie die Masse abschneiden und sie nicht mehr zu 1 integriert). Wenn Sie sich eigentlich nur für MSE interessieren, spielt das keine Rolle, aber manchmal ist dies ein erhebliches Problem.

Dougal

Der Gaußsche Kern wird zum Beispiel bei der Dichteschätzung durch Ableitungen verwendet:

\frac{d^{i} f}{d x^{i}} (x) \approx \frac{1}{b a n d w i d t h} \sum_{j = 1}^{N} \frac{d^{i} k}{d x^{i}} (X_{j}, x)

$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$

Dies liegt daran, dass der Epanechnikov-Kernel 3 Ableitungen hat, bevor er identisch Null ist, im Gegensatz zum Gaußschen Kernel, der unendlich viele (von Null verschiedene) Ableitungen hat. Weitere Beispiele finden Sie in Abschnitt 2.10 Ihres Links.

Alex R.
quelle

Die erste Ableitung des Epanechnikov-Kernels (beachte übrigens das zweite n ) ist nicht stetig, wenn die Funktion die eigenen Grenzen des Kernels überschreitet; das könnte mehr ein Problem sein.

Glen_b -Reinstate Monica

i

$i$

@AlexR. Während das, was Sie sagen, wahr ist, verstehe ich nicht, wie es erklärt, warum der Gaußsche Wert bei der gewöhnlichen Dichteschätzung so häufig ist (im Gegensatz zur Schätzung der Ableitung der Dichte). Und selbst bei der Schätzung von Ableitungen wird in Abschnitt 2.10 darauf hingewiesen, dass der Gaußsche Kern niemals der bevorzugte Kern ist.

John Rauser

@JohnRauser: Denken Sie daran, dass Sie Epanechnikov-Kernel höherer Ordnung verwenden müssen, um optimale Ergebnisse zu erzielen. Normalerweise verwenden die Leute einen Gaußschen, weil es einfacher ist, damit zu arbeiten und bessere Eigenschaften hat.

Alex R.

@AlexR Ich würde darüber streiten "[u] normalerweise benutzen Leute einen Gaußschen"; Haben Sie systematische Daten zur Nutzungshäufigkeit oder ist dies nur ein Eindruck, der auf der Arbeit basiert, die Sie sehen? Ich sehe oft Biweights, aber mehr würde ich nicht beanspruchen.

Nick Cox