Verbesserung des Mindestschätzers

Angenommen, ich habe positive Parameter zum Schätzen von und deren entsprechenden unverzerrten Schätzungen, die von den Schätzern , dh , und so weiter.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Ich möchte anhand der Schätzungen schätzen. Offensichtlich ist der naive Schätzer niedriger als $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Angenommen, ich habe auch die Kovarianzmatrix der entsprechenden Schätzer zur Hand. Ist es möglich, unter Verwendung der angegebenen Schätzungen und der Kovarianzmatrix eine unvoreingenommene (oder weniger voreingenommene) Schätzung des Minimums zu erhalten?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

Ich habe keine klare Antwort auf die Existenz eines unvoreingenommenen Schätzers. In Bezug auf den Schätzfehler ist die Schätzung von jedoch im Allgemeinen ein an sich schwieriges Problem.$\min(\mu_1, \dots, \mu_n)$

Zum Beispiel sei und . Sei die Zielmenge und ist eine Schätzung von . Wenn wir den "naiven" Schätzer wobei , dann wird der Schätzfehler durch bis zur Konstante. (Beachten Sie, dass der Schätzfehler für jeden IS ). Natürlich, wennμ = ( μ 1 , ... , μ n ) , θ = min i μ i θ θ θ = min i ( ˉ Y i ) ¯ Y i = $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$ μiσ

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$ μiσσ$\frac{\sigma^2}{N}$$\mu_i$'s sind weit voneinander entfernt und ist sehr klein, der Schätzfehler sollte auf reduziert werden . Im schlimmsten Fall gibt es jedoch keine Schätzung, dass besser funktioniert als der naive Schätzer. Sie können genau zeigen, dass wobei das Infimum alle möglichen Schätzungen von basierend auf der Stichprobe und das Supremum alle möglichen Konfigurationen von 's übernimmt .$\sigma$ θinf θ sup μ 1 ,..., μ n E[ θ -θ]2⪆& sgr;2log$\frac{\sigma^2}{N}$$\theta$ θY1,…,YNμ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Daher ist der naive Schätzer bis zur Konstante minimalaxoptimal, und es gibt keine bessere Schätzung von in diesem Sinne.$\theta$

BEARBEITEN: Das Folgende beantwortet eine andere Frage als die gestellte Frage - es wird so gerahmt, als ob als zufällig betrachtet wird, funktioniert jedoch nicht, wenn als fest betrachtet wird, was wahrscheinlich das OP im Sinn hatte. Wenn behoben ist, habe ich keine bessere Antwort als$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Wenn wir nur Schätzungen für Mittelwert und Kovarianz berücksichtigen, können wir als eine einzelne Stichprobe aus der multivariaten Normalverteilung behandeln. Eine einfache Möglichkeit, eine Schätzung des Minimums zu erhalten, besteht darin, eine große Anzahl von Stichproben aus , das Minimum jeder Stichprobe zu berechnen und dann den Mittelwert dieser Minima zu ermitteln.$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

Das obige Verfahren und seine Grenzen in Bayesian verstanden werden - die Notation von der Einnahme Wikipedia auf MVN , wenn die bekannte Kovarianz des Schätzer ist , und wir haben eine Beobachtung, die gemeinsame posteriori Verteilung ist wobei und aus dem Prior stammen, wo, bevor wir irgendwelche Daten beobachten, nehmen wir den Prior ). Da Sie wahrscheinlich nicht bereit sind, mit Prioritäten zu versehen , können wir das Limit als , was zu einem flachen Prior führt und der hintere zu$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. Angesichts des flachen Prior gehen wir jedoch implizit davon aus, dass sich die Elemente von unterscheiden (wenn alle reellen Zahlen gleich wahrscheinlich sind, ist es sehr unwahrscheinlich, ähnliche Werte zu erhalten).$\mu$

Eine schnelle Simulation zeigt, dass die Schätzung mit diesem Verfahren leicht überschätzt, wenn sich die Elemente von unterscheiden, und wenn die Elemente ähnlich sind. Man könnte argumentieren, dass dies ohne Vorkenntnisse korrektes Verhalten ist. Wenn Sie bereit sind, zumindest einige vorherige Informationen anzugeben (z B. ), können sich die Ergebnisse für Ihren Anwendungsfall etwas besser verhalten.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Wenn Sie bereit sind, mehr Struktur anzunehmen, können Sie möglicherweise eine bessere Verteilung als normal wählen. Es kann auch sinnvoll sein, Stan oder einen anderen MCMC-Sampler zu verwenden, um die Schätzungen von anzupassen . Auf diese Weise erhalten Sie eine Reihe von Stichproben von , die die Unsicherheit in den Schätzern selbst widerspiegeln, einschließlich ihrer Kovarianzstruktur (möglicherweise umfangreicher als das, was MVN bieten kann). Noch einmal, Sie können dann das Minimum für jede Probe berechnen, um eine posteriore Verteilung über die Minima zu erhalten, und den Mittelwert dieser Verteilung nehmen, wenn Sie eine Punktschätzung benötigen.$\mu$$(\mu_1, ..., \mu_n)$