Warum verwendet ecdf eine Sprungfunktion und keine lineare Interpolation?

Empirische CDF-Funktionen werden üblicherweise durch eine Sprungfunktion geschätzt. Gibt es einen Grund, warum dies so gemacht wird und nicht durch Verwendung einer linearen Interpolation? Hat die Stufenfunktion interessante theoretische Eigenschaften, die uns bevorzugen?

Hier ist ein Beispiel für die beiden:

ecdf2 <- function (x) {
  x <- sort(x)
  n <- length(x)
  if (n < 1) 
    stop("'x' must have 1 or more non-missing values")
  vals <- unique(x)
  rval <- approxfun(vals, cumsum(tabulate(match(x, vals)))/n, 
                    method = "linear", yleft = 0, yright = 1, f = 0, ties = "ordered")
  class(rval) <- c("ecdf", class(rval))
  assign("nobs", n, envir = environment(rval))
  attr(rval, "call") <- sys.call()
  rval
}


set.seed(2016-08-18)
a <- rnorm(10)
a2 <- ecdf(a)
a3 <- ecdf2(a)

par(mfrow = c(1,2))
curve(a2, -2,2, main = "step function ecdf")
curve(a3, -2,2, main = "linear interpolation function ecdf")

r distributions ecdf Tal Galili
quelle

Related ...................................

"... geschätzt durch eine Schrittfunktion" widerlegt ein subtiles Missverständnis: Der ECDF wird nicht nur durch eine Schrittfunktion geschätzt ; es ist per definitionem eine solche Funktion. Sie ist identisch mit der CDF einer Zufallsvariablen. Definieren Sie bei einer beliebigen endlichen Folge von Zahlen

einen Wahrscheinlichkeitsraum

mit

diskret und

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

(Ω, S, P)

$(\Omega,\mathfrak{S},\mathbb{P})$

Ω = {1, 2, \dots, n}

$\Omega=\{1,2,\ldots, n\}$

S

$\mathfrak{S}$

P

$\mathbb{P}$ Uniform. Sei

die Zufallsvariable, die

zuordnet . Die ECDF ist der CDF von . Diese enorme konzeptionelle Vereinfachung ist ein überzeugendes Argument für die Definition.

X

$X$

x_{i}

$x_i$

i

$i$ $X$

Whuber

Antworten:

Es ist per Definition.

Die empirische Verteilungsfunktion einer Menge von Beobachtungen ist definiert durch $(X_n)$

F_{e} (t) = \frac{# {X_{n} ∣ X_{n} \leq t}}{n}

$F_e(t) = \frac{\#\{X_n \mid X_n \le t\}}n$

Wobei die eingestellte Kardinalität ist. Dies ist von Natur aus eine Sprungfunktion. Es konvergiert fast sicher mit der tatsächlichen CDF $\#$ .

Beachten Sie auch, dass für jede Verteilung mit für mindestens zwei (insbesondere nicht entartete diskrete Verteilungen) Ihre ECDF-Variante nicht zur tatsächlichen CDF konvergiert. Betrachten Sie zum Beispiel eine Bernoulli-Distribution mit CDF $P(X = x) \ne 0$ $x$

ist dies eine Schrittfunktion während ecdf2 konvergieren zu (eine stückweise lineare Funktion, die und

F_{X} (x) = p χ_{x \geq 0} + (1 - p) χ_{x \geq 1}

$F_X(x) = p \chi_{x \ge 0} + (1-p) \chi_{x \ge 1}$

χ_{x \geq 0} \cdot (p + (1 - p) min (x, 1))

$\chi_{x\ge 0} \cdot (p + (1-p)\min(x, 1))$

(0, p)

$(0,p)$

(1, 1)

$(1,1)$ .

AlexR
quelle

Danke Alex. Gibt es einen anderen Namen für die Funktion, die ich geschrieben habe? (weil ich vermute, dass es auch zur tatsächlichen CDF konvergiert)

Tal Galili

@ TalGalili Das tut es nicht. Betrachten Sie eine Bernoulli-Verteilung. Dein ecdf2 konvergiert in diesem Fall nicht. Man könnte es ein geglättetes ecdf nennen. Ich vermute, es wird zur tatsächlichen CDF konvergieren, wenn die tatsächliche CDF keine Punkte mit einer Wahrscheinlichkeit ungleich Null außer für extreme Punkte (wo Sie nicht glätten) hat

AlexR

@AlexR Sie können Ihre Antwort bearbeiten, um diesen Kommentar hinzuzufügen, da diskrete Verteilungen der Grund für diese eindeutige Antwort sind.

Tim

@ Tim Fertig.

${}{}$

AlexR

Vielen Dank. Gibt es eine Möglichkeit, eine stetige empirische Funktion zu definieren, die zur Sprungfunktion konvergiert, aber vollständig monoton ist (dh ohne scharfe "Sprünge")?

Tal Galili