Benötigt MLE ID-Daten? Oder nur unabhängige Parameter?

Das Schätzen von Parametern unter Verwendung der Maximum-Likelihood-Schätzung (MLE) umfasst das Bewerten der Likelihood-Funktion, die die Wahrscheinlichkeit des Auftretens der Stichprobe (X) auf Werte (x) im Parameterraum (θ) bei gegebener Verteilungsfamilie (P (X = x | θ) abbildet Alle Beispiele, die ich gesehen habe, beinhalten die Berechnung von P (X = x | θ), indem das Produkt von F (X) genommen wird, wobei F die Verteilung mit dem lokalen ist Wert für θ und X ist die Stichprobe (ein Vektor).

Folgt daraus, dass die Daten unabhängig sind, da wir nur die Daten multiplizieren? Könnten wir beispielsweise MLE nicht verwenden, um Zeitreihendaten anzupassen? Oder müssen die Parameter nur unabhängig sein?

Die Wahrscheinlichkeitsfunktion ist definiert als die Wahrscheinlichkeit eines Ereignisses (Datensatz ) in Abhängigkeit von den Modellparameternx$E$${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Es besteht daher keine Vermutung der Unabhängigkeit der Beobachtungen. Im klassischen Ansatz gibt es keine Definition für die Unabhängigkeit von Parametern, da es sich nicht um Zufallsvariablen handelt. einige relevanten Konzepte könnten Identifizierbarkeit , Parameter Orthogonalität , und die Unabhängigkeit des Maximum - Likelihood - Schätzer (die Zufallsvariablen).

Einige Beispiele,

(1). Diskreter Fall . ist eine Probe (unabhängiger) diskreter Beobachtungen mit , dannP ( Beobachtung  x j ; θ ) > ${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

Insbesondere wenn ist und N bekannt ist, haben wir das$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2). Kontinuierliche Approximation . Let wird , um eine Probe aus einer kontinuierlichen Zufallsvariablen X , mit der Verteilung F und Dichte f , mit Messfehlern ε , ist dies, um die Sätze beobachten ( x j - ε , x j + ϵ ) . Dann${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Wenn klein ist, kann dies (unter Verwendung des Mittelwertsatzes) durch angenähert werden$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Ein Beispiel mit dem Normalfall, werfen Sie einen Blick auf diese .

(3). Abhängiges und Markov-Modell . Nehmen wir an, dass ist eine Reihe von Beobachtungen , möglicherweise abhängig und lassen f die gemeinsame Dichte sein x , dann${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Wenn zusätzlich die Markov-Eigenschaft erfüllt ist, dann

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Nehmen Sie auch einen Blick auf diese .

(+1) Sehr gute Frage.

Kleinigkeit, MLE steht für Maximum Likelihood Estimation (nicht multipliziert), was bedeutet, dass Sie nur die Wahrscheinlichkeit maximieren. Dies gibt nicht an, dass die Wahrscheinlichkeit durch IID-Abtastung erzeugt werden muss.

Wenn die Abhängigkeit der Stichprobe im statistischen Modell geschrieben werden kann, schreiben Sie einfach die Wahrscheinlichkeit entsprechend und maximieren sie wie gewohnt.

Der ein Fall erwähnenswert , wenn Sie nicht Abhängigkeit davon ausgehen , dass das multivariaten Gauß - Sampling (in der Zeit zum Beispiel Reihenanalyse). Die Abhängigkeit zwischen zwei Gaußschen Variablen kann durch ihren Kovarianzterm modelliert werden, den Sie in die Wahrscheinlichkeit einbeziehen.

Um ein vereinfachtes Beispiel zu geben, nehmen Sie an, dass Sie eine Stichprobe der Größe aus korrelierten Gaußschen Variablen mit dem gleichen Mittelwert und der gleichen Varianz ziehen. Du würdest die Wahrscheinlichkeit schreiben als$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

wo ist$z$

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

Dies ist nicht das Produkt der einzelnen Wahrscheinlichkeiten. Dennoch würden Sie dies mit Parametern maximieren , um deren MLE zu erhalten.$(\mu, \sigma, \rho)$

Natürlich besitzen Gaußsche ARMA-Modelle eine Wahrscheinlichkeit, da ihre Kovarianzfunktion explizit abgeleitet werden kann. Dies ist im Grunde eine Erweiterung der Antwort von gui11ame auf mehr als zwei Beobachtungen. Minimales Googeln erzeugt Papiere wie dieses, bei denen die Wahrscheinlichkeit in der allgemeinen Form angegeben ist.

Eine weitere, in gewissem Maße faszinierendere Klasse von Beispielen sind Modelle mit mehrstufigen Zufallseffekten . Wenn Sie Daten des Formulars haben

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ wo Indizes $j$ sind verschachtelt in $i$ (Denken Sie an Studenten $j$ in Klassenzimmern $i$Sagen wir, für eine klassische Anwendung von Mehrebenenmodellen), vorausgesetzt $\epsilon_{ij} \perp u_i$ist die Wahrscheinlichkeit $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ und ist eine Summe über die auf der Ebene von Clustern definierten Wahrscheinlichkeitsbeiträge, nicht über einzelne Beobachtungen. (Natürlich können Sie im Gaußschen Fall die Integrale verschieben, um eine analytische ANOVA-ähnliche Lösung zu erstellen. Wenn Sie jedoch ein Logit-Modell für Ihre Antwort angeben,$y_{ij}$gibt es keinen Ausweg aus der numerischen Integration.)