Konfidenzintervall von RMSE

Ich habe eine Stichprobe von Datenpunkten aus einer Population entnommen . Jeder dieser Punkte hat einen wahren Wert (bekannt aus der Grundwahrheit) und einen geschätzten Wert. Ich berechne dann den Fehler für jeden abgetasteten Punkt und berechne dann den RMSE der Probe.$n$

Wie kann ich dann basierend auf der Stichprobengröße eine Art Konfidenzintervall um diesen RMSE ableiten ?$n$

Wenn ich den Mittelwert anstelle des RMSE verwenden würde, hätte ich kein Problem damit, da ich die Standardgleichung verwenden kann

$m = \frac{Z \sigma}{\sqrt{n}}$

aber ich weiß nicht, ob dies für RMSE und nicht für den Mittelwert gilt. Kann ich das irgendwie anpassen?

(Ich habe diese Frage gesehen , habe aber keine Probleme damit, ob meine Bevölkerung normalverteilt ist. Darum geht es in der Antwort dort.)

Mit einer ähnlichen Begründung wie hier kann ich unter bestimmten Umständen eine Antwort auf Ihre Frage geben.

Let Ihr wahrer Wert für die seine i t h Datenpunkt und x i den geschätzten Wert. Wenn wir davon ausgehen, dass die Unterschiede zwischen den geschätzten und wahren Werten haben$x_{i}$$i^{th}$$\hat{x}_{i}$

1. Mittelwert Null (dh die x i verteilt werden um x i )$\hat{x}_{i}$$x_{i}$

2. einer Normalverteilung folgen

3. und alle haben die gleiche Standardabweichung $\sigma$

Zusamenfassend:

$$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$$

dann willst du wirklich ein Konfidenzintervall für .$\sigma$

Wenn die obigen Annahmen zutreffen, gilt folgt einerχ 2 n- Verteilung mitn(nichtn-1) Freiheitsgraden. Das heisst

$$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$$ $\chi_{n}^{2}$$n$$n-1$

$$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$$

$$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$$

Hier ist ein Python-Programm, das Ihre Situation simuliert

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Hoffentlich hilft das.

If you are not sure whether the assumptions apply or if you want to compare what I wrote to a different method, you could always try bootstrapping.

The reasoning in the answer by fabee seems correct if applied to the STDE (standard deviation of the error), not the RMSE. Using similar nomenclature, $i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$, BIAS, MSE (mean squared error) and RMSE are given by:

$$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$, but MSE is not the biased sample variance. Instead:

$$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$$ or, if both BIAS and RMSE were computed, $$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$, STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$) and $\left.\text{STDE}\middle/\sqrt{n}\right.$.

Following Faaber 1999, the uncertainty of RMSE is given as

$$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$$ where $n$ is the number of datapoints.