Was genau ist der Unterschied zwischen einem parametrischen und einem nicht parametrischen Modell?

Ich bin verwirrt mit der Definition eines nichtparametrischen Modells, nachdem ich diesen Link gelesen habe. Parametrische vs nichtparametrische Modelle und Antwortkommentare meiner anderen Frage .

Ursprünglich dachte ich, "parametrisch gegen nicht parametrisch" bedeutet, wenn wir Verteilungsannahmen für das Modell haben (ähnlich wie beim Testen parametrischer oder nicht parametrischer Hypothesen). Beide Ressourcen, die den Anspruch "parametrisch oder nicht parametrisch" haben, können jedoch dadurch bestimmt werden, ob die Anzahl der Parameter im Modell von der Anzahl der Zeilen in der Datenmatrix abhängt.

Für die Kernel-Dichteschätzung (nicht parametrisch) kann eine solche Definition angewendet werden. Aber wie kann ein neuronales Netzwerk unter dieser Definition ein nicht parametrisches Modell sein, da die Anzahl der Parameter im Modell von der Struktur des neuronalen Netzwerks und nicht von der Anzahl der Zeilen in der Datenmatrix abhängt?

machine-learning neural-networks nonparametric terminology parametric Haitao Du
quelle

Beachten Sie, dass "nichtparametrisch" in Bezug auf Verteilungsmodelle (wie in Ihrem Verweis auf Hypothesentests) sich auf die Anzahl der Parameter bezieht, die zum Definieren der Verteilung verwendet werden ("parametrisch" = definiert durch eine feste Anzahl von Parametern; nichtparametrische Methoden haben keine Verteilung mit einer festen Anzahl von Parametern - sie haben tendenziell mildere Annahmen, wie Kontinuität oder Symmetrie)

Glen_b - Monica am

Meine Meinung: Halten Sie sich an Ihre Definition. Es ist eine systematische Definition, wie Definitionen sein sollten. Der andere ist wackelig: Sie müssen zuerst die "Anzahl der effektiven Parameter" eines Algorithmus definieren. Aber ich habe immer gesehen, wie diese Größe von Fall zu Fall definiert wurde (dh Sie haben eine Definition für eine lineare Regression, eine für den nächsten Nachbarn, eine für neuronale Netze). Wenn jemand nicht eine allgemeine, systematische Definition der effektiven Anzahl von Parametern anbieten kann, kann ich diese Definition nicht wirklich ernst nehmen.

Adrien

Unter dem folgenden Link finden Sie eine gute Erklärung für parametrische Algorithmen für maschinelles Lernen und nicht-parametrische Algorithmen für maschinelles Lernen. machinelearningmastery.com/…

Satya

Antworten:

In einem parametrischen Modell ist die Anzahl der Parameter in Bezug auf die Stichprobengröße festgelegt. In einem nichtparametrischen Modell kann die (effektive) Anzahl von Parametern mit der Stichprobengröße zunehmen.

In einer OLS-Regression entspricht die Anzahl der Parameter immer der Länge von plus eins für die Varianz. $\beta$

Ein neuronales Netz mit fester Architektur und ohne Gewichtsabfall wäre ein parametrisches Modell.

Wenn Sie jedoch einen Gewichtsabfall haben, wird der Wert des durch Kreuzvalidierung ausgewählten Abklingparameters im Allgemeinen mit mehr Daten kleiner. Dies kann als Erhöhung der effektiven Anzahl von Parametern mit zunehmender Stichprobengröße interpretiert werden.

generic_user
quelle

Sicherlich ist der Weight Decay-Parameter immer noch ein einzelner zusätzlicher Parameter und ändert (sofern ich mich nicht irre) die Struktur des Netzwerks nicht. Wie kann dies als Zunahme der Anzahl von Parametern mit zunehmender Stichprobengröße interpretiert werden?

Morgan Ball

Der Gewichtsabfall ist ein Hyperparameter. Lesen Sie hier über effektive Freiheitsgrade bei der Regularisierung: statweb.stanford.edu/~tibs/sta305files/Rudyregularization.pdf. Während neuronale Netze nicht linear sind, erfüllt der Gewichtsabfall in diesen Modellen dieselbe Funktion wie eine quadratische Strafe.

generic_user

Ich bin (natürlich) mit der Intuition effektiver Parameter einverstanden, aber ich bin nicht damit einverstanden, diesen Begriff zur Definition von parametrisch / nichtparametrisch zu verwenden, siehe meinen Kommentar zur Frage.

Adrien

Ja, ich verstehe deinen Standpunkt. Aber ich nehme an, dass vernünftige Leute sich nicht darüber einig sein können, ob die Wackeligkeit einer Definition sie zu einer nicht hilfreichen Definition macht, ceteris paribus.

generic_user

Ich habe diese Erklärung schon einmal gesehen und sie nicht gemocht. Auf diese Weise kann ich ein gewöhnliches kleinstes Quadrat mit Schrumpfung als nichtparametrische Methode bezeichnen, da die „effektiven“ Parameter kleiner als die Koeffizienten sein können. Ich denke, es ist keine hilfreiche Kategorisierung, da sie die

Grenze

Ich denke, wenn das Modell als ein Satz von Gleichungen definiert ist (kann ein System von gleichzeitigen Gleichungen oder ein einzelnes sein) und wir seine Parameter lernen, dann ist es parametrisch. Dazu gehören Differentialgleichungen und sogar die Navier-Stokes-Gleichung. Deskriptiv definierte Modelle fallen unabhängig von ihrer Lösung in die Kategorie der nichtparametrischen Modelle. Somit wäre OLS parametrisch, und selbst die Quantilregression, obwohl sie in den Bereich der nichtparametrischen Statistik gehört, ist ein parametrisches Modell.

Wenn wir andererseits SEM (Strukturgleichungsmodellierung) verwenden, um das Modell zu identifizieren, wäre es ein nichtparametrisches Modell - bis wir das SEM gelöst haben. PCA wäre parametrisch, weil die Gleichungen gut definiert sind, aber CCA kann nichtparametrisch sein, weil wir nach Korrelationen über alle Variablen suchen, und wenn dies Spearmans Korrelationen sind, haben wir ein nichtparametrisches Modell. Mit Pearsons Korrelationen implizieren wir ein parametrisches (lineares) Modell. Ich denke, Clustering-Algorithmen wären nichtparametrisch, es sei denn, wir suchen nach Clustern bestimmter Form.

Und dann haben wir die nichtparametrische Regression, die nichtparametrisch ist, und die LOESS-Regression, die parametrisch ist, aber denselben Zweck erfüllt: Wir definieren die Gleichung und das Fenster.

AlexG
quelle

Ihre Beschreibungen sind ziemlich vage und scheinen im Widerspruch zur statistischen Standardbedeutung von "parametrisch" und "nichtparametrisch" zu stehen. Insbesondere haben Sie eine ungewöhnliche Position in Bezug auf bestimmte Techniken eingenommen, wie z. B. LOESS, das im Allgemeinen als nichtparametrisch angesehen wird: siehe beispielsweise en.wikipedia.org/wiki/Local_regression .

whuber

@whuber danke für den Link! Sie haben Recht: LOESS gilt als nichtparametrisch. Was für mich eher uninteressant ist. Was ist mit exponentieller Glättung? Ist es nichtparametrisch, weil das Gewicht jedes Punktes unterschiedlich ist? Oder ist es parametrisch, weil das Alpha für die gesamte Zeitreihe gleich ist?

AlexG

Die Parameter in parametrischen Situationen zählen nicht unbedingt eine Reihe von Zahlen. Sie beziehen sich darauf, wie man eine Familie statistischer Modelle beschreiben muss. Wenn eine Prozedur beispielsweise einen einzelnen Wert an Daten anpasst (möglicherweise durch Kreuzvalidierung, möglicherweise auf andere Weise), aber nur davon ausgeht, dass die Daten eine Zufallsstichprobe aus einer Verteilung sind, ist diese Prozedur nicht parametrisch.

whuber

$logodds(G)=int + ax_1 + bx_2 + ...$

Cali
quelle

Ich kann auch Gleichungen für Kernel-Schätzmethoden schreiben, die nicht parametrisch sind.

HelloWorld

falsch - Sie können explizite und einfache Gleichungen für den prädiktiven Mittelwert und die prädiktive Varianz von Gaußschen Prozessen schreiben, die eine der häufigsten nichtparametrischen Regressionsmethoden sind, sowie für viele andere nichtparametrische Regressionsmethoden.

DeltaIV