Bei welchen Modellen fällt die Vorspannung von MLE schneller als die Varianz?

$\hat\theta$$\theta^*$$n$$\lVert\hat\theta-\theta^*\rVert$$O(1/\sqrt n)$$\lVert \mathbb E\hat\theta - \theta^*\rVert$$\lVert \mathbb E\hat\theta - \hat\theta\rVert$$O(1/\sqrt{n})$

Ich interessiere mich für Modelle mit einer Abweichung , die schneller als schrumpft, bei der der Fehler jedoch nicht schneller schrumpft, da die Abweichung immer noch als schrumpft . Insbesondere würde ich gerne ausreichende Bedingungen kennen, unter denen die Abweichung eines Modells mit der Rate schrumpft .$O(1/\sqrt n)$$O(1/\sqrt n)$$O(1/n)$

Im Allgemeinen benötigen Sie Modelle, bei denen die MLE nicht asymptotisch normal ist, sondern zu einer anderen Verteilung konvergiert (und dies schneller). Dies geschieht normalerweise, wenn sich der zu schätzende Parameter an der Grenze des Parameterraums befindet. Intuitiv bedeutet dies, dass sich der MLE dem Parameter "nur von einer Seite" nähert, wodurch sich die Konvergenzgeschwindigkeit "verbessert", da er nicht durch "Hin- und Herbewegen" des Parameters "abgelenkt" wird.

Ein Standardbeispiel ist die MLE für θ in einer iid-Stichprobe von U ( 0 , θ ) gleichförmigen rvs. Die MLE ist hier die Statistik maximaler Ordnung.$\theta$$U(0,\theta)$

$$\hat \theta_n = u_{(n)}$$

Seine endliche Probenverteilung ist

$$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$$

$$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$$

So B ( θ n ) = O ( 1 / n ) . Die gleiche erhöhte Rate gilt jedoch auch für die Varianz.$B(\hat \theta_n) = O(1/n)$

Man kann auch überprüfen , dass eine Grenzverteilung zu erhalten, müssen wir die Variable aussehen n ( θ - θ n ) , ( das heißt , wir müssen Skala von n ) da$n(\theta - \hat \theta_n)$$n$

$$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$$

$$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$$

$$\to 1- e^{-z/\theta}$$

Das ist die CDF der Exponentialverteilung.

Ich hoffe, das gibt eine Richtung vor.

Nach den Kommentaren in meiner anderen Antwort (und dem Titel der OP-Frage!) Folgt hier eine nicht sehr strenge theoretische Untersuchung des Problems.

Wir wollen , um zu bestimmen , ob Bias B ( θ n ) = E ( θ n ) - θ unterschiedliche Konvergenzrate als die Quadratwurzel der Varianz aufweisen kann,$B(\hat \theta_n) = E(\hat \theta_n) - \theta$

$$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$$

Wir haben

$$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$$

$$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$$

während

$$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$$

We see that $(2)$ may hold happen if

A) both components are $O(1/n^{2\gamma})$, in which case we can only have $\gamma = \delta$.

B) But it may also hold if

$$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$$

For $(3)$ to be compatible with $(1)$, we must have

$$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$$

So it appears that in principle it is possible to have the Bias converging at a faster rate than the square root of the variance. But we cannot have the square root of the variance converging at a faster rate than the Bias.