Konsistenz des Lernprozesses

Ich habe zwei Fragen zum Konzept der "Lernkonsistenz" für diejenigen, die mit der statistischen Lerntheorie a la Vapnik vertraut sind.

Frage 1.
Der Lernprozess heißt konsistent (für die Funktionsklasse und die Wahrscheinlichkeitsverteilung ), wenn$\mathcal{F}$$P$

Diese beiden Bedingungen sind unabhängig. Auf P. 83 von Vapniks "Statistical Learning Theory" gibt es ein Beispiel für eine Reihe von Klassifikatoren $\mathcal{F}$ so dass die zweite Konvergenz stattfindet, die erste jedoch nicht. Ich habe über ein Beispiel für eine Reihe von Klassifikatoren nachgedacht, bei denen die erste Konvergenz stattfindet, die zweite jedoch nicht und mir nichts einfallen lässt. Kann mir hier jemand helfen?

Frage 2.
Der Lernprozess wird als nichttrivial konsistent (oder streng konsistent) (für die Funktionsklasse $\mathcal{F}$ und die Wahrscheinlichkeitsverteilung $P$ ) bezeichnet, wenn für eine reelle Zahl $c \in R$ so gilt, dass $\Lambda(c) = \{ f | R(f) \geq c \}$ ist nicht leer.

S. 81 von Vapniks "Statistical Learning Theory" veranschaulicht, warum wir strikte Konsistenz anstelle der in Frage 1 definierten Konsistenz betrachten wollen, dh warum wir einführen und für jedes . Alle anderen Texte, die strenge Konsistenz berücksichtigen, duplizieren im Wesentlichen Vapniks Darstellung, wenn sie die Gründe für das Konzept der strengen Konsistenz erläutern möchten. Ich bin jedoch aus zwei Gründen nicht wirklich zufrieden mit Vapniks Darstellung: Erstens erfolgt dies in Bezug auf die Verlustfunktionen$\Lambda(c)$$\inf_{f \in \Lambda(c)}$$c$$Q(z, \alpha)$und nicht die Klassifikatoren, und zweitens Abb. 3.2. aus dem Buch macht nicht wirklich Sinn, wenn wir die allgemeine Verlustfunktion für Klassifizierungsprobleme betrachten, dh die Funktion, die gleich 0 ist, wenn die vorhergesagte Klassenbezeichnung gleich der wahren Klassenbezeichnung ist, und ansonsten 1.

Ist es also möglich, die Gründe für das Konzept der strengen Konsistenz noch einmal vernünftiger zu veranschaulichen? Im Wesentlichen benötigen wir ein Beispiel für eine Reihe von Klassifizierern, sodass diese Klassifizierer nicht konsistent sind (im Sinne der Definition aus Frage 1) und einige neue Klassifizierer eine bessere Leistung als alle Klassifizierer aus der Gruppe aufweisen, sodass wir diese Klassifizierer hinzufügen Zum Set führen wir zum Fall der "trivialen Konsistenz". Irgendwelche Ideen?

Für Ihre Frage 1 habe ich ein Beispiel, aber es erfordert die Verlustfunktion, um den Wert . Ich bin mir ziemlich sicher, dass wir ein Beispiel geben können, das nur eine unbegrenzte Verlustfunktion erfordert, aber das wäre etwas mehr Arbeit zu konstruieren. Eine offene Frage ist, ob es ein Beispiel mit einer begrenzten Verlustfunktion gibt.$\infty$

Betrachten Sie die Klassifizierungseinstellung, bei der sich die Wahrscheinlichkeitsverteilung auf einem Leerzeichen . Wir bezeichnen ein Beispiel mit mit und . Sei der Raum aller Klassifizierungsfunktionen auf . Definieren Sie die Verlustfunktion$P$$\mathcal{Z}=\mathcal{X}\times\{0,1\}$$z=(x,y)$$x\in\mathcal{X}$$y\in\{0,1\}$$\mathcal{F}=\mathcal{X}^{\{0,1\}}$$\mathcal{X}$

Nehmen wir nun an, ist eine zählbar unendliche Menge, und sei eine beliebige Wahrscheinlichkeitsverteilung, für die für alle . Außerdem nehmen wir an , dass es eine deterministische Klassifizierungsfunktion, dh es existiert für die für . Dies impliziert, dass .$\mathcal{X}=\left\{ x_{1},x_{2},\ldots\right\}$$P$$P(\{x_{i}\})>0$$i=1,2,\ldots$$c\in\mathcal{F}$$y_{i}=c(x_{i})$$i=1,2,...$$\inf_{f\in\mathcal{F}}R(f)=0$

Dann für jedes , , aber (es sei denn , es ist ein großes Glück Wahl der unter all jenen , die empirischen Fehler haben). Somit ist , aber konvergiert nicht zu dieser Wert.$l$$R_{emp}(f_{l}^{*})=0$$R(f_{l}^{*})=\infty$$f_{l}^{*}$$f\in\mathcal{F}$$0$$R_{emp}(f_{l}^{*})\to\inf_{f\in\mathcal{F}}R(f)$$R(f_{l}^{*})$

Bei Frage 2 stimme ich zu, dass sein Beispiel nicht auf den Klassifizierungsfall zuzutreffen scheint, und ich sehe keinen offensichtlichen Weg, um ein solches Beispiel zu erstellen.