Testen bestimmter Kontraste: Ist das nachweislich ein schweres Problem oder nicht?

Ich habe dies in mathoverflow gepostet und niemand antwortet:

Scheffés Methode zur Identifizierung statistisch signifikanter Kontraste ist weithin bekannt. Ein Kontrast zwischen den Mitteln $\mu_i$ , $i=1,\ldots,r$ von $r$ Populationen ist eine Linearkombination $\sum_{i=1}^r c_i \mu_i$ in der $\sum_{i=1}^r c_i=0$ und ein skalares Vielfaches eines Kontrasts ist im Wesentlichen der gleiche Kontrast, man könnte also sagen, dass die Menge der Kontraste ein projektiver Raum ist. Die Methode von Scheffé testet eine Nullhypothese, die besagt, dass alle Kontraste zwischen diesen Populationen , und weist die Nullhypothese bei gegebenem Signifikanzniveau mit der Wahrscheinlichkeit , sofern die Nullhypothese wahr ist. Und wenn die Nullhypothese verworfen wird, weist Scheffé darauf hin, dass sein Test uns sagt, welche Kontraste sich signifikant von $r$ $0$ $\alpha$ $\alpha$ $0$ (ich bin mir nicht sicher, ob der Wikipedia-Artikel, den ich verlinkt habe, dies anzeigt).

Ich würde gerne wissen, ob man in einer anderen Situation etwas Ähnliches machen kann. Man betrachte ein einfaches lineares Regressionsmodell , wobei , $Y_i = \alpha + \beta x_i + \varepsilon_i$ $\varepsilon_i\sim\operatorname{i.i.d.}N(0,\sigma^2)$ $i=1,\ldots,n$ .

Die Nullhypothese, die ich betrachten möchte, betrifft eine andere Art von Kontrast. Es heißt, es gibt keine Teilmenge so dass für und für wobei $A\subseteq\lbrace 1,\ldots,n\rbrace$ $E(Y_i) = \alpha_1 + \beta x_i$ $i\in A$ $E(Y_i) = \alpha_2 + \beta x_i$ $i\not\in A$ $\alpha_1\ne\alpha_2$ . Wenn die Teilmenge im Voraus spezifiziert wurde, führt dies ein gewöhnlicher Test mit zwei Stichproben durch , aber wir möchten etwas, das alle Teilmengen berücksichtigt und die Wahrscheinlichkeit, eine echte Nullhypothese abzulehnen, niedrig hält. $A$ $t$

Man könnte diese herausfinden, wenn Effizienz kein Problem ist: einen Test finden , die durch alle geht Möglichkeit. Auch dann ist es problematisch; zwei kontraste wären nicht unabhängig. Ich fragte einen Experten für die Erkennung von Ausreißern, und er sagte nur, es sei ein kombinatorischer Albtraum. Dann fragte ich, ob man beweisen könne , dass es keinen effizienten Weg gibt, dies zu tun, vielleicht indem man ein NP-hartes Problem darauf reduziert. Er sagte nur, er halte sich von NP-harten Problemen fern. $2^{n-1}-1$

Also: Kann man beweisen, dass dieses Problem "schwer" ist oder nicht?

regression hypothesis-testing contrasts np Michael Hardy
quelle

(+1) Kopieren eines Kommentars zur Verdeutlichung aus der MO-Fassung : Nur ein kleiner Punkt zur Verdeutlichung: Wenn ich es lese, qualifiziert sich

unter Ihrer Nullhypothese, aber

und

nicht (unabhängig von

). Ist es das, was du beabsichtigt hast? (Es scheint nicht mit einigen der anderen in der Frage gemachten Anspielungen übereinzustimmen.)

(α_{1}, α_{2}, α_{3}) = (1, 2, 3)

$(\alpha_1, \alpha_2, \alpha_3) = (1,2,3)$

(1, 2, 2)

$(1,2,2)$

(1, 1, 1)

$(1,1,1)$

β

$\beta$

Kardinal

Wie oben angegeben, wäre die Nullhypothese, dass wir nur ein

benötigen , und die alternative Hypothese ist, dass wir zwei brauchen. Ich weiß nicht, warum Sie einen dritten haben. Man könnte auch die Nullhypothese von nur einem

gegenüber der Alternativhypothese von mehreren betrachten, und vielleicht sollte ich das stattdessen tun.

α

$\alpha$

α

$\alpha$

Michael Hardy

Vielen Dank. Vielleicht wurde ich von der ursprünglichen Aussage des Modells als

, wobei ich das

als möglichen Tippfehler für

ansah (da es anschließend variieren durfte).

Y_{i} = α + β x_{i} + ε_{i}

$Y_i = \alpha + \beta x_i + \varepsilon_i$

α

$\alpha$

α_{i}

$\alpha_i$

Kardinal

Nun, sicherlich, wenn dieses

von

abhängt , wäre es ein überparametrisiertes Modell und überhaupt nicht so, wie man es normalerweise als "einfaches lineares Regressionsmodell" bezeichnet.

α

$\alpha$

i

$i$

Michael Hardy

Es wurde festgestellt, dass noch niemand diese Frage beantwortet hat ...

Grundsätzlich stellt sich die Frage: Gibt es einen 0-1-Vektor so dass eine (signifikant) bessere Anpassung ergibt als "Deutlich besser" kann in Form von Quadratsummen als Ungleichung erfasst werden. Es stellt sich die Frage, ob es eine 0-1-Lösung für die Ungleichung $Z$

y_{i} = α + β x_{i} + γ z_{i} + ϵ_{i}

$y_i = \alpha + \beta x_i + \gamma z_i + \epsilon_i$

y_{i} = α + β x_{i} + ϵ_{i} .

$y_i = \alpha + \beta x_i + \epsilon_i.$

f (z) \geq t .

$f(z) \ge t.$ Dies ist eine Variante des Set-Partitionierungsproblems, von dem bekannt ist, dass es NP-hart ist.

user3697176
quelle

Kann das eingestellte Partitionierungsproblem tatsächlich auf dieses Problem reduziert werden? Wenn ja, würde das beweisen, dass dies ein schweres Problem ist.

${}\qquad{}$

Michael Hardy

Dieses Problem ist mindestens so schwer wie das klassische Setpartitionierungsproblem (SPP). SPP verwendet eine lineare Kombination von Gewichten und versucht, diese mit +/- 1 zu multiplizieren, um einen Ausdruck zu erhalten, der sich zu 0 summiert. Hier möchten Sie eine Ungleichung erfüllen. Wäre dies für beliebige Eingaben in Polynomzeit lösbar, zeigt ein Bisektionsargument, dass Sie SPP auch in Polynomzeit lösen können. Das ist nicht gerade eine Reduzierung, aber es ist nah.

User3697176

Testen bestimmter Kontraste: Ist das nachweislich ein schweres Problem oder nicht?

Antworten: