Grundlegendes zu Gaußschen Basisfunktionsparametern für die lineare Regression

Ich möchte die Gaußsche Basisfunktion auf eine lineare Regressionsimplementierung anwenden. Leider fällt es mir schwer, ein paar Parameter in der Basisfunktion zu verstehen. Insbesondere und .$\mu$$\sigma$

Mein Datensatz ist eine 10.000 x 31-Matrix. 10.000 Samples und 31 Features. Ich habe gelesen, dass "Jede Basisfunktion den Eingabevektor x in einen Skalarwert umwandelt". Ich gehe also davon aus, dass x 1 Stichprobe ist, also ein 1 x 31-Vektor. Von hier aus bin ich verwirrt. Was genau ist der Parameter? Ich habe gelesen, dass dies die Orte der Basisfunktionen regelt. Ist das also nicht die Bedeutung von etwas? Ich werde auch durch den Index j ( und ) abgeworfen, das bringt mich dazu, an die dritte Zeile zu denken. Aber das scheint keinen Sinn zu ergeben. Ist das ein Vektor? Nun zum μ ϕ μ j$\mu_j$$\mu$$\phi$$\mu_j$$\sigma$das "regelt die räumliche Skala". Was genau ist das Ich habe einige Implementierungen gesehen, die Werte wie .1, .5, 2.5 für diesen Parameter ausprobieren. Wie werden diese Werte berechnet? Ich habe recherchiert und nach Beispielen gesucht, um daraus zu lernen, aber bis jetzt konnte ich keine finden. Jede Hilfe oder Anweisung wird sehr geschätzt! Vielen Dank.

Da Sie verwirrt sind, lassen Sie mich zunächst das Problem benennen und Ihre Fragen nacheinander beantworten. Sie haben eine Stichprobengröße von 10.000 und jede Stichprobe wird durch einen Merkmalsvektor . Wenn Sie Regression Gaußsche radiale Basisfunktionen ausführen wollen , dann sucht eine Funktion der Form f ( x ) = Σ j w j * g j ( x ; μ j , σ j ) , j = 1 .. m , wo die g $x\in\mathbb{R}^{31}$

Was genau ist der Parameter Mu-Index j?

Sie müssen Basisfunktionen g j finden . (Sie müssen noch die Zahl m bestimmen . ) Jede Basisfunktion hat ein μ j und ein σ j (ebenfalls unbekannt). Der Index j reicht von 1 bis m .$m$$g_j$$m$$\mu_j$$\sigma_j$$j$$1$$m$

Ist das ein Vektor?$\mu_j$

Ja, das ist ein Punkt in . Mit anderen Worten, es ist ein Punkt in Ihrem Merkmalsraum, und für jede der m Basisfunktionen muss ein μ bestimmt werden.$\mathbb{R}^{31}$$\mu$$m$

Ich habe gelesen, dass dies die Orte der Basisfunktionen regelt. Ist das also nicht die Bedeutung von etwas?

Die Basisfunktion ist auf μ j zentriert . Sie müssen sich entscheiden, wo sich diese Standorte befinden. Also nein, es ist nicht unbedingt der Mittelwert von irgendetwas.$j^{th}$$\mu_j$

Nun zum Sigma, das "die räumliche Skala regiert". Was genau ist das

ist leichter zu verstehen, wenn wir uns den Basisfunktionen selbst zuwenden.$\sigma$

Es ist hilfreich, sich die Gaußschen radialen Basisfunktionen in niedrigeren Dimensionen vorzustellen, z. B. oder R 2 . In R 1 ist die Gaußsche radiale Basisfunktion nur die bekannte Glockenkurve. Die Glocke kann natürlich schmal oder breit sein. Die Breite wird durch σ bestimmt - je größer σ ist, desto schmaler ist die Glockenform. Mit anderen Worten skaliert σ die Breite der Glockenform. Für σ = 1 haben wir also keine Skalierung. Für großes σ haben wir eine erhebliche Skalierung.$\mathbb{R}^{1}$$\mathbb{R}^{2}$$\mathbb{R}^{1}$$\sigma$$\sigma$$\sigma$$\sigma$$\sigma$

Sie können fragen, was der Zweck davon ist. Wenn Sie sich vorstellen, dass die Glocke einen Teil des Raums bedeckt (eine Linie in ), bedeckt eine schmale Glocke nur einen kleinen Teil der Linie *. Punkte x in der Nähe der Glockenmitte haben einen größeren g j ( x ) -Wert. Punkte, die weit vom Zentrum entfernt sind, haben einen kleineren g j ( x ) -Wert. Durch die Skalierung werden Punkte weiter von der Mitte entfernt verschoben - da sich die Glocke weiter von der Mitte entfernt, wird der Wert von g j ( x ) verringert.$\mathbb{R}^{1}$$x$$g_j(x)$$g_j(x)$$g_j(x)$

Jede Basisfunktion konvertiert den Eingabevektor x in einen Skalarwert

Ja, Sie evaluieren irgendwann die Basisfunktionen .$\mathbf{x}\in\mathbb{R}^{31}$

Als Ergebnis erhalten Sie einen Skalar. Das skalare Ergebnis hängt von der Entfernung des Punktes vom Zentrum μ j gegeben durch ‖ x - μ j ‖ und der skalaren σ j .$\mathbf{x}$$\mu_j$$\|\mathbf{x}-\mu_j\|$$\sigma_j$

Ich habe einige Implementierungen gesehen, die Werte wie .1, .5, 2.5 für diesen Parameter ausprobieren. Wie werden diese Werte berechnet?

Dies ist natürlich einer der interessanten und schwierigen Aspekte der Verwendung von Gaußschen radialen Basisfunktionen. Wenn Sie im Internet suchen, finden Sie viele Vorschläge, wie diese Parameter bestimmt werden. Ich werde in sehr einfachen Worten eine Möglichkeit umreißen, die auf Clustering basiert. Sie können dieses und einige andere Vorschläge online finden.

Beginnen Sie mit dem Clustering Ihrer 10000 Stichproben (Sie könnten zuerst PCA verwenden, um die Dimensionen zu reduzieren, gefolgt von k-Means-Clustering). Sie können die Anzahl der gefundenen Cluster angeben (in der Regel wird eine Kreuzvalidierung verwendet, um das beste m zu ermitteln ). Erstellen Sie nun für jeden Cluster eine radiale Basisfunktion g j . Für jede radiale Basisfunktion sei μ j das Zentrum (z. B. Mittelwert, Schwerpunkt usw.) des Clusters. Lassen Sie σ j die Breite des Clusters widerspiegeln (z. B. Radius ...). Führen Sie nun Ihre Regression durch (diese einfache Beschreibung ist nur eine Übersicht - bei jedem Schritt ist viel Arbeit erforderlich!).$m$$m$$g_j$$\mu_j$$\sigma_j$

* Natürlich ist die Glockenkurve von - bis ∞ definiert, sodass überall auf der Linie ein Wert angezeigt wird. Die Werte weit vom Zentrum sind jedoch vernachlässigbar$\infty$$\infty$

$j$$y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$$j$$y$$\beta_j$$\phi_j(x)$$y_j=\beta\phi_j(x)$$j$$y_j$$\beta$$\phi_j(x)$$i$$j$

$y_i$$x_i$$x_i$$\mu_i$$y_i$$j$$i$$j$$j$$\mu_{ij}$$\mu_j$$\sigma^2$$y$$y$$\sigma^2$

$x\in\mathbb{R}^{31}$$\mu_j\in\mathbb{R}^{31}$$e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$$\Sigma_j\in\mathbb{R}^{31\times 31}$$j$$j$$\Sigma_j$$j$