Beweis der Nähe der Kernfunktionen unter punktuellem Produkt

12

Wie kann ich beweisen, dass das punktweise Produkt zweier Kernelfunktionen eine Kernelfunktion ist?

Gigili
quelle

Antworten:

17

Mit punktuellem Produkt meine ich, dass wenn beide gültige Kernfunktionen sind, dann ihr Produktk1(x,y),k2(x,y)

kp(x,y)=k1(x,y)k2(x,y)

ist auch eine gültige Kernelfunktion.

Der Beweis dieser Eigenschaft ist ziemlich einfach, wenn wir den Satz von Mercer aufrufen. Da gültige Kernel sind, wissen wir (über Mercer), dass sie eine innere Produktdarstellung zulassen müssen. Läßt eine bezeichnet den Merkmalsvektor von k 1 und b bezeichnen die gleichen für k 2 .k1,k2ak1bk2

k1(x,y)=a(x)Ta(y),ein(z)=[ein1(z),ein2(z),einM.(z)]]k2(x,y)=b(x)T.b(y),b(z)=[b1(z),b2(z),bN.(z)]]

So ist eine Funktion , die ein produziert M -dim Vektor und b erzeugt eine N -dim Vektor.einM.bN

Als nächstes schreiben wir das Produkt einfach in und b und führen eine Umgruppierung durch.ab

kp(x,y)=k1(x,y)k2(x,y)=(m=1Mam(x)am(y))(n=1Nbn(x)bn(y))=m=1Mn=1N[am(x)bn(x)][am(y)bn(y)]=m=1Mn=1Ncmn(x)cmn(y)=c(x)Tc(y)

where c(z) is an MN -dimensional vector, s.t. cmn(z)=am(z)bn(z).

Now, because we can write kp(x,y) as an inner product using the feature map c, we know kp is a valid kernel (via Mercer's theorem). That's all there is to it.

Mike Hughes
quelle
How do you know that the feature Hilbert space is finite-dimensional? Couldn't it be even non-separable?
Andrei Kh
According to your first paragraph we only know k kernel the existence of an inner product representation. But in your conclusion you use that the existence of an inner product representation implies that kp is a kernel. Why is that valid?
Viktor Glombik
0

Assume K1 and K2 are the kernel matrix of these two kernel k1(x,y) and k2(x,y), respectively, and they are PSD. We define k(x,y)=k1(x,y)k2(x,y) and want to prove it is also a kernel. This is equivalent to prove its corresponding kernel matrix K=K1K2 is PSD.

  1. K3=K1K2 is a PSD (The kronecker product of two PSD is PSD).
  2. K is a principal submatrix of K3, and therefore is PSD (The principal submatrix of PSD is PSD).
ceyao zhang
quelle