Sind Interaktionen nur im Kontext der Regression nützlich?

Ich habe den Begriff Interaktion immer im Kontext der Regression gelesen. Sollten wir auch Interaktionen mit verschiedenen Modellen berücksichtigen, z. B. knn oder svm?

Wenn es , 100 oder noch mehr Funktionen gibt und sagen wir 1000 Beobachtungen, was ist der übliche Weg, um nützliche Interaktionen zu finden? Alle Kombinationen ausprobieren? Oder nur sinnvolle Kombinationen verwenden?$50$$100$$1000$

$X_i * X_j$

Der einfachste Weg, dies zu sehen, ist das XOR-Problem. Ein Regressionsmodell ohne Wechselwirkungen kann dies nicht lösen, da es eine nichtlineare Kombination erfordert.

KNNs und SVMs hingegen (und viele andere Modelle auch) sind universelle Funktionsapproximatoren. Dies bedeutet, dass sie ihre Eingaben nicht nur linear, sondern auch auf nichtlineare Weise kombinieren können. Wenn genügend Ebenen oder ein geeigneter Kernel vorhanden sind, können sie im Grunde genommen ihre eigenen Interaktionen genau so "erstellen", wie sie sie benötigen. Wenn Sie jedoch wissen oder erwarten, dass bestimmte Interaktionen wichtig sind, können Sie sie dennoch als Eingabe verwenden, um die Modelle in die richtige Richtung zu lenken.

Ebenso können baumbasierte Modelle so interpretiert werden, dass sie nur aus Interaktionen bestehen. Grundsätzlich erzeugt eine Aufteilung in ein baumbasiertes Modell eine spezifische Interaktion mit allen vorherigen Variablen.

$N$$2^N$

Nein.

$(x_1,x_2)$, SVM mit Polynom 2. Ordnung macht $(x_1^2,x_2^2,x_1x_2)$.

SVM wird als Kernel-Trick bezeichnet, da es implizit eine polynomielle Basiserweiterung mit viel weniger Rechenaufwand ausführt. Denken Sie an die Polynomerweiterung 10. Ordnung für 10 Merkmale und erweitern Sie sie manuell$10^{10}$Säulen. Aber mit dem Kernel-Trick können wir es leicht machen.

Daher wurde in anderen Modellen nicht nur die Interaktion weit verbreitet. Bei der Erweiterung der Interaktion versuchen andere Modelle, mehr mit Feature-Engineering zu tun. Anstelle der Multiplikation zweier Spalten werden kompliziertere Merkmale abgeleitet.

Interaktionen, die das angepasste R-Quadrat verbessern, BIC für die Wahrscheinlichkeitsregression (alternativ AICc und andere), VIF und die F-Statistik von ANOVA, letztere ohne einzelne Parameter, die anhand ihrer Teilwahrscheinlichkeiten als beitragsunabhängig beurteilt werden.

Sehr wichtig, aber nicht gefragt, ist auch, dass eine Neuparametrisierung sowohl die Wirkung einzelner Variablen als auch ihre Wechselwirkungen deutlich verbessern kann. BIC-, AIC- und andere Likelihood-Qualitätsmessungen sind jedoch nicht gültig, um verschiedene Repareterisierungen zu vergleichen, wobei für solche Zwecke das angepasste R-Quadrat, VIF und die F-Statistik von ANOVA übrig bleiben.