Probabilistische Interpretation von Dünnplatten-Glättungssplines

TLDR: Haben Dünnplatten-Regressionssplines eine probabilistische / Bayes'sche Interpretation?

Bei gegebenen Eingabe-Ausgabe-Paaren ist ; Ich möchte eine Funktion wie folgt schätzen: wobei eine Kernfunktion ist und ein Merkmalsvektor der Größe . Die Koeffizienten und können durch Lösen von wobei Die Zeilen von sind gegeben durch $(x_i,y_i)$ $i=1,...,n$ $f(\cdot)$

f (x) \approx u (x) = ϕ (x_{i})^{T} β + \sum_{i = 1}^{n} α_{i} k (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}$

k (\cdot, \cdot)

$k(\cdot,\cdot)$

ϕ (x_{i})

$\phi(x_i)$

m < n

$m<n$

α_{i}

$\alpha_i$

β_{i}

$\beta_i$

min_{α \in R^{n}, β \in R^{m}} \frac{1}{n} ‖ Y - Φ β - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

Φ

$\Phi$

ϕ (x_{i})^{T}

$\phi(x_i)^T$ und, mit einigem Missbrauch Notation, die

i, j

$i,j$ -te Eintrag der Kernmatrix

K

$K$ ist

k (x_{i}, x_{j})

$k(x_{i},x_{j})$ . Dies ergibt

α^{*} = λ^{- 1} (I + λ^{- 1} K)^{- 1} (Y - Φ β^{*})

$\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation}$

β^{*} = {Φ^{T} (I + λ^{- 1} K)^{- 1} Φ}^{- 1} Φ^{T} (I + λ^{- 1} K)^{- 1} Y .

$\begin{equation} \beta^*=\{\Phi^T(I+\lambda^{-1}K)^{-1}\Phi\}^{-1}\Phi^T(I+\lambda^{-1}K)^{-1}Y. \end{equation}$ Unter der Annahme, dass

k (\cdot, \cdot)

$k(\cdot,\cdot)$ eine positive bestimmte Kernelfunktion ist, kann diese Lösung als bester linearer unverzerrter Prädiktor für das folgende Bayes'sche Modell angesehen werden:

y | (β, h (\cdot)) \sim N (ϕ (x) β + h (x), σ^{2}),

$\begin{equation} y~\vert~(\beta,h(\cdot))~\sim~N(\phi(x)\beta+h(x),\sigma^2), \end{equation}$

h (\cdot) \sim G P (0, τ k (\cdot, \cdot)),

$\begin{equation} h(\cdot)~\sim~GP(0,\tau k(\cdot,\cdot)), \end{equation}$

β \propto 1,

$\begin{equation} \beta\propto1, \end{equation}$ Dabei bezeichnet

σ^{2} / τ = λ

$\sigma^2/\tau=\lambda$ und

G P

$GP$ einen Gaußschen Prozess. Siehe zum Beispiel https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/

Meine Frage lautet wie folgt. Angenommen, ich lasse $k(x,x'):=|x-x'|^2 \ln(|x-x'|)$ und $\phi(x)^T=(1,x)$ , dh dünne Plattenverzahnung Regression. Nun ist $k(\cdot,\cdot)$ keine positive semidefinite Funktion und die obige Interpretation funktioniert nicht. Hat das obige Modell und seine Lösung noch eine probabilistische Interpretation, da für den Fall das $k(\cdot,\cdot)$ positiv semidefinit ist?

regression bayesian gaussian-process smoothing semiparametric MthQ
quelle

Sie scheinen anzunehmen, dass sich in einem dimensionalen Raum mit oder zumindest, dass die ganze Zahl ist.

x

$x$

d

$d$

d = 2

$d=2$

d

$d$

Yves

Ok, was sind die Auswirkungen?

MthQ

Dies war nur eine Nebenbemerkung, denn in der Frage könnte man denken, dass Skalare sind. In diesem Fall hat der Kernel von Duchon jedoch die Form mit Ganzzahl und für den üblichen Glättungsspline. Ich denke, dass die probabilistische Interpretation nahezu unverändert bleibt, aber der GP nicht stationär ist: Es handelt sich um eine intrinsische Zufallsfunktion . Für den üblichen Glättungs-Spline stellt sich heraus, dass dies ein integrierter Wiener-Prozess ist.

x_{i}

$x_i$

| x - x^{'} |^{2 m - 1}

$|x - x'|^{2m-1}$

m

$m$

m = 2

$m=2$

Yves

@Ja das klingt interessant. Möglicherweise möchten Sie Ihren Kommentar zu einer Antwort erweitern, etwas näher erläutern, was eine intrinsische Zufallsfunktion ist, und das klassische Beispiel für den Glättungsspline hinzufügen. Wenn Sie sich Sorgen machen, zu beweisen, dass der TPS-Kernel zu einem instationären GP führt, kann eine Simulation möglicherweise ein nützlicher Kompromiss sein, insbesondere wenn Sie eine nicht parametrische Schätzung der Varianz der posterioren Vorhersageverteilung hinzufügen.

DeltaIV

@ DeltaIV. Vielen Dank. Ich werde versuchen, es zu tun, noch keine leichte Aufgabe. Ich bin mir ziemlich sicher, dass dies gilt, wenn die Funktionen geeignete Polynome sind, die sich auf den Kernel beziehen, aber dies gilt möglicherweise nicht mehr für beliebige wie im klassischeren GP-Kontext.

ϕ_{j}

$\phi_j$

ϕ_{j}

$\phi_j$

Yves

Das Modell der Frage sei geschrieben als wobei ein nicht beobachteter GP mit dem Index und ein normaler Rauschbegriff mit ist Varianz . Der GP wird normalerweise als zentriert, stationär und nicht deterministisch angenommen. Beachten Sie, dass der Begriff als (deterministischer) GP mit Kernel wobei

\begin{matrix} (1) & Y_{i} = ϕ (x_{i})^{⊤} β + h (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{1} Y_i = \boldsymbol{\phi}(\mathbf{x}_i)^\top\boldsymbol{\beta} + h(\mathbf{x}_i) + \varepsilon_i \end{equation}$

h (x)

$h(\mathbf{x})$

x \in R^{d}

$\mathbf{x} \in \mathbb{R}^d$

ε_{i}

$\varepsilon_i$

σ^{2}

$\sigma^2$

ϕ (x)^{⊤} β

$\boldsymbol{\phi}(\mathbf{x})^\top \boldsymbol{\beta}$

ϕ (x)^{⊤} B ϕ (x)

$\boldsymbol{\phi}(\mathbf{x})^\top \mathbf{B}\, \boldsymbol{\phi}(\mathbf{x})$

B

$\mathbf{B}$ ist eine Kovarianzmatrix mit unendlichem Wert. In der Tat erhalten wir die Kriging-Gleichungen der Frage , indem wir mit . Dies wird häufig als diffuser Prior für . Ein korrekter Posterior für ergibt sich nur, wenn die Matrix den vollen Rang hat. Das Modell schreibt also ebenso wie wobei ein GP ist . Dieselbe Bayes-Interpretation kann mit Einschränkungen verwendet werden, wenn kein GP mehr ist, sondern ein GP

B := ρ I

$\mathbf{B} := \rho \, \mathbf{I}$

ρ \to \infty

$\rho \to \infty$

β

$\boldsymbol{\beta}$

β

$\boldsymbol{\beta}$

Φ

$\boldsymbol{\Phi}$

\begin{matrix} (2) & Y_{i} = ζ (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{2} Y_i = \zeta(\mathbf{x}_i) + \varepsilon_i \end{equation}$

ζ (x)

$\zeta(\mathbf{x})$

ζ (x)

$\zeta(\mathbf{x})$ Intrinsic Random Function (IRF). Die Ableitung findet sich im Buch von G. Wahba. Lesbare Darstellungen des IRF-Konzepts finden sich beispielsweise in dem Buch von N. Cressie und dem unten zitierten Artikel von Mardia et al. IRFs ähneln den bekannten integrierten Prozessen im zeitdiskreten Kontext (wie ARIMA): Ein IRF wird durch eine Art Differenzierungsoperation in einen klassischen GP umgewandelt.

Hier sind zwei Beispiele für IRF für . Betrachten Sie zunächst einen Wiener-Prozess dessen Anfangsbedingung durch eine diffuse Anfangsbedingung ersetzt wird: ist normal mit einer unendlichen Varianz. Sobald ein Wert bekannt ist, kann der IRF ebenso wie der Wiener GP vorhergesagt werden. Zweitens betrachten wir einen integrierten Wiener-Prozess , der durch die Gleichung wobei ist ein Wiener-Prozess. Um einen GP zu erhalten, benötigen wir jetzt zwei skalare Parameter: zwei Werte und für $d=1$ $\zeta(x)$ $\zeta(0) = 0$ $\zeta(0)$ $\zeta(x)$

d^{2} ζ (x) / d x^{2} = d W (x) / d x

$\text{d}^2 \zeta(x) / \text{d}x^2 = \text{d} W(x)/\text{d}x$

W (x)

$W(x)$

ζ (x)

$\zeta(x)$

ζ (x^{'})

$\zeta(x')$

x \neq x^{'}

$x \neq x'$ oder die Werte und bei einem ausgewählten . Wir können annehmen, dass die beiden zusätzlichen Parameter gemeinsam Gauß'sch mit einer unendlichen Kovarianzmatrix sind. In beiden Beispielen ist der IRF als GP nahezu fertig, sobald ein geeigneter endlicher Satz von Beobachtungen verfügbar ist. Außerdem haben wir einen Differentialoperator verwendet: und . Der Nullraum ist ein linearer Raum von Funktionen so dass . Es enthält die konstante Funktion

ζ (x)

$\zeta(x)$

d ζ (x) / d x

$\text{d}\zeta(x) / \text{d}x$

x

$x$

2 \times 2

$2 \times 2$

L := d / d x

$L := \text{d}/ \text{d}x$

L := d^{2} / d x^{2}

$L := \text{d}^2/ \text{d}x^2$

F

$\mathcal{F}$

ϕ (x)

$\phi(x)$

L ϕ = 0

$L \phi = 0$

ϕ_{1} (x) = 1

$\phi_1(x)=1$ im ersten Fall und die Funktionen und im zweiten Fall. Beachten Sie, dass im ersten Beispiel GP für jedes feste im ersten Beispiel ist und in ähnlicher Weise ist im zweiten Fall ein GP.

ϕ_{1} (x) = 1

$\phi_1(x)=1$

ϕ_{2} (x) = x

$\phi_2(x) = x$

ζ (x) - ζ (x + δ)

$\zeta(x) - \zeta(x + \delta)$

δ

$\delta$

ζ (x - δ) - 2 ζ (x) + ζ (x + δ)

$\zeta(x-\delta) - 2 \zeta(x) + \zeta(x + \delta)$

Betrachten Sie für eine allgemeine Dimension einen linearen Raum von Funktionen, die in . Wir nennen ein Inkrement relativ zu eine endliche Sammlung von Positionen und reellen Gewichten so dass Betrachten Sie als Nullraum unserer Beispiele. Für das erste Beispiel können wir zB mit und beliebig und nehmen $d$ $\mathcal{F}$ $\mathbb{R}^d$ $\mathcal{F}$ $s$ $\mathbf{x}_i \in \mathbb{R}^d$ $s$ $\nu_i$

\sum_{i = 1}^{s} ν_{i} ϕ (x_{i}) = 0 for all ϕ \in F .

$\sum_{i=1}^s \, \nu_i \,\phi(\mathbf{x}_i) = 0 \text{ for all } \phi \in \mathcal{F}.$

F

$\mathcal{F}$

s = 2

$s=2$

x_{1}

$x_1$

x_{2}

$x_2$

[1, - 1]

$[1, \, -1]$ . Für das zweite Beispiel können wir s mit gleichem Abstand und . Die Definition eines IRF beinhaltet einen Raum von Funktionen und eine Funktion die bedingt positiv für , was bedeutet, dass gilt, sobald ist ein Inkrement für . Von und

s = 3

$s = 3$

x_{i}

$x_i$

ν = [1, - 2, 1]

$\boldsymbol{\nu} = [1,\,-2,\,1]$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x}, \, \mathbf{x}')$

F

$\mathcal{F}$

\sum_{i = 1}^{s} \sum_{j = 1}^{s} ν_{i} ν_{j} g (x_{i}, x_{j}^{'}) \geq 0

$\sum_{i=1}^s \sum_{j=1}^s \nu_i \nu_j \, g(\mathbf{x}_i, \, \mathbf{x}'_j) \geq 0$

[ν_{i}, x_{i}]_{i = 1}^{s}

$[\nu_i,\,\mathbf{x}_i]_{i=1}^s$

F

$\mathcal{F}$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x},\,\mathbf{x}')$ Wir können einen Kovarianzkern erstellen, daher einen GP wie bei Mardia et al. Wir können von einem linearen Differentialoperator und den Nullraum als ; Die IRF hat dann eine Verbindung mit der Gleichung ein Gaußsches Rauschen.

L

$L$

F

$\mathcal{F}$

L ζ =

$L \zeta =$

Die Berechnung der Vorhersage des IRF ist nahezu dieselbe wie in der Frage, wobei durch , aber mit dem jetzt eine Basis von . Die zusätzliche Einschränkung muss im Optimierungsproblem hinzugefügt werden, wodurch das gewährt wird . Wir können bei Bedarf noch weitere Basisfunktionen hinzufügen, die nicht in sind. Dies hat den Effekt, dass dem IRF ein deterministischer GP hinzugefügt wird, z. B. $k(\mathbf{x},\,\mathbf{x}')$ $g(\mathbf{x},\,\mathbf{x}')$ $\phi_i(\mathbf{x})$ $\mathcal{F}$ $\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$ $\boldsymbol{\alpha}^\top \mathbf{K} \boldsymbol{\alpha} \geq 0$ $\mathcal{F}$ $\boldsymbol{\psi}(\mathbf{x})^\top\boldsymbol{\gamma}$ $\zeta(\mathbf{x})$ in (2).

Der Dünnplatten-Spline hängt von einer ganzen Zahl so dass , der Raum Polynome mit geringem Grad enthält, wobei die Dimension von und abhängt . Es kann gezeigt werden, dass, wenn die folgende Funktion für dann definiert ein bedingt positives wrt . Die Konstruktion bezieht sich auf einen Differentialoperator $m$ $m> 2d$ $\mathcal{F}$ $p(m)$ $m$ $d$ $E(r)$ $r \geq 0$

E (r) := {\begin{cases} (- 1)^{m + 1 + d / 2} r^{2 m - d} \log r & d even, \\ r^{2 m - d} & d odd, \end{cases}

$E(r) := \begin{cases} (-1)^{m + 1 + d /2} \, r^{2m-d} \log r & d \text{ even},\\ r^{2m-d} & d \text{ odd,} \end{cases}$

g (x, x^{'}) := E (‖ x - x^{'} ‖)

$g(\mathbf{x},\,\mathbf{x}') := E(\|\mathbf{x} - \mathbf{x}'\|)$

F

$\mathcal{F}$

L

$L$ . Es stellt sich heraus, dass für und der Spline der dünnen Platte nichts anderes ist als der übliche natürliche kubische Spline, der sich auf das obige integrierte Wiener-Beispiel bezieht, mit . (2) ist also nichts anderes als das übliche Glättungs-Spline-Modell. Wenn und der Nullraum die Dimension und wird durch die Funktionen , und .

d = 1

$d=1$

m = 2

$m=2$

g (x, x^{'}) = | x - x^{'} |^{3}

$g(x,\,x') = |x - x'|^3$

d = 2

$d=2$

m = 2

$m=2$

p (m) = 3

$p(m)=3$

1

$1$

x_{1}

$x_1$

x_{2}

$x_2$

Cressie N- Statistik für räumliche Daten . Wiley 1993.

Mardia KV, Kent JT, Goodall CR und Little JA. Kriging und Splines mit abgeleiteten Informationen. Biometrika (1996), 83,1, S. 207-221.

Wahba G Spline-Modelle für Beobachtungsdaten . SIAM 1990.

Wang, Y Glättung von Splines, Methoden und Anwendungen . Chapman and Hall, 2011.

Yves
quelle

Vielen Dank für die Mühe, die Sie investiert haben. Sehr nützlich. Ich habe noch eine zusätzliche Frage. Das Hinzufügen zusätzlicher Basisfunktionen zu (zusätzlich zu den Basisfunktionen von ) ändert also nichts an der Interpretation von . Was mir jedoch aufgefallen ist, ist, dass die in meiner obigen Frage angegebene Lösung immer erfüllt , nicht nur wenn . Wie kann das interpretiert werden?

ϕ (\cdot)

$\boldsymbol{\phi}(\cdot)$

F

$\mathcal{F}$

ζ (\cdot)

$\zeta(\cdot)$

α^{*}

$\alpha^*$

Φ^{⊤} α = 0

$\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$

ϕ (\cdot) \in F

$\boldsymbol{\phi}(\cdot)\in \mathcal{F}$

MthQ

Ja. In beiden Fällen gibt es Basisfunktionen bei der Approximation von , während nur Beobachtungen verwendet werden. Wir haben also so etwas wie eine rangschwache Regression mit den Koeffizienten und . Da der Teil nicht bestraft wird, neigt er dazu, mehr von der Variation von zu "absorbieren" als der Teil, der lineare Einschränkungen mit sich bringt . Beachten Sie, dass nichts die Verwendung einiger der "Kernel-Shifts" -Funktionen als verbietet . Wenn wir alle verwenden, dann alle

n + p

$n+p$

f (x)

$f(x)$

n

$n$

β_{i}

$\beta_i$

α_{j}

$\alpha_j$

β

$\beta$

y

$y$

α

$\alpha$

p

$p$

n

$n$

x \mapsto k (x, x_{i})

$x \mapsto k(x, x_i)$

ϕ_{j} (x)

$\phi_j(x)$

α_{j}^{⋆}

$\alpha_j^\star$ sind Null, was sinnvoll erscheint.

Yves

Probabilistische Interpretation von Dünnplatten-Glättungssplines

Antworten: