Ist es falsch, Features basierend auf dem p-Wert auszuwählen?

Es gibt mehrere Beiträge zum Auswählen von Features. Eine der Methoden beschreibt die Wichtigkeit von Merkmalen basierend auf t-Statistiken. In R, varImp(model)angewendet auf ein lineares Modell mit standardisierten Merkmalen, wird der Absolutwert der t-Statistik für jeden Modellparameter verwendet. Im Grunde genommen wählen wir ein Feature basierend auf seiner t-Statistik aus, was bedeutet, wie genau der Koeffizient ist. Aber sagt mir die Genauigkeit meines Koeffizienten etwas über die Vorhersagefähigkeiten des Merkmals aus?

Kann es vorkommen, dass mein Feature eine niedrige t-Statistik aufweist, aber trotzdem die Genauigkeit des Modells verbessert (sagen wir mal)? Wenn ja, wann würde man Variablen basierend auf der t-Statistik ausschließen wollen? Oder gibt es nur einen Ausgangspunkt, um die Vorhersagefähigkeiten nicht wichtiger Variablen zu überprüfen?

Die t-Statistik kann so gut wie nichts über die Vorhersagefähigkeit eines Features aussagen, und sie sollte nicht dazu verwendet werden, den Prädiktor auszublenden oder Prädiktoren in ein Vorhersagemodell zuzulassen.

P-Werte sagen, dass Störmerkmale wichtig sind

$5000$

set.seed(154)
N <- 5000
y <- rnorm(N)

$5000$$500$

N.classes <- 500
rand.class <- factor(cut(1:N, N.classes))

Nun passen wir ein lineares Modell an, um ygegebene Werte vorherzusagen rand.classes.

M <- lm(y ~ rand.class - 1) #(*)

Der korrekte Wert für alle Koeffizienten ist Null, keiner von ihnen hat eine Vorhersagekraft. Trotzdem sind viele von ihnen mit 5% signifikant

ps <- coef(summary(M))[, "Pr(>|t|)"]
hist(ps, breaks=30)

Tatsächlich sollten wir davon ausgehen, dass ungefähr 5% von ihnen signifikant sind, obwohl sie keine Vorhersagekraft haben!

P-Werte erkennen wichtige Merkmale nicht

Hier ist ein Beispiel in die andere Richtung.

set.seed(154)
N <- 100
x1 <- runif(N)
x2 <- x1 + rnorm(N, sd = 0.05)
y <- x1 + x2 + rnorm(N)

M <- lm(y ~ x1 + x2)
summary(M)

Ich habe zwei korrelierte Prädiktoren mit jeweils prädiktiver Wirkung erstellt.

M <- lm(y ~ x1 + x2)
summary(M)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)   0.1271     0.2092   0.608    0.545
x1            0.8369     2.0954   0.399    0.690
x2            0.9216     2.0097   0.459    0.648

Die p-Werte können die Vorhersagekraft beider Variablen nicht erfassen, da die Korrelation beeinflusst, wie genau das Modell die beiden einzelnen Koeffizienten aus den Daten abschätzen kann.

Inferenzstatistiken geben keinen Aufschluss über die Vorhersagekraft oder Wichtigkeit einer Variablen. Es ist ein Missbrauch dieser Messungen, sie so zu verwenden. Es gibt viel bessere Optionen für die Variablenauswahl in vorhersagenden linearen Modellen glmnet.

(*) Beachten Sie, dass ich hier einen Abschnitt weglasse, sodass sich alle Vergleiche auf die Grundlinie von Null und nicht auf den Gruppenmittelwert der ersten Klasse beziehen. Dies war @ Whubers Vorschlag.

Da dies zu einer sehr interessanten Diskussion in den Kommentaren führte, war der ursprüngliche Code

rand.class <- factor(sample(1:N.classes, N, replace=TRUE))

und

M <- lm(y ~ rand.class)

was zu dem folgenden Histogramm führte

Die t-Statistik wird von der Effektgröße und der Stichprobengröße beeinflusst. Es kann vorkommen, dass die Effektgröße nicht Null ist, die Stichprobengröße jedoch nicht groß genug ist, um sie signifikant zu machen.

$t=\left(\frac{\overline{x}}{s}\right) \sqrt{n}$

$\frac{\overline{x}}{s}$ ist die Stichprobenschätzung der Effektgröße. Wenn sie klein ist, wird der p-Wert erst nach dem angezeigt $\sqrt{n}$ Begriff wird groß.

In Ihrem Fall verbessert jedes Feature mit einem Effekt ungleich Null die Leistung, aber Sie verfügen möglicherweise nicht über genügend Daten, um den p-Wert dieses Features signifikant zu machen.