Der Ursprung des Begriffs "Regularisierung"

27

Wenn ich meinen Schülern Konzepte vorstelle, finde ich es oft lustig, ihnen zu sagen, woher die Terminologie stammt ("Regression" ist beispielsweise ein Begriff mit einer interessanten Herkunft). Ich konnte die Geschichte / den Hintergrund des Begriffs "Regularisierung" im statistischen / maschinellen Lernen nicht aufdecken.

Woher stammt also der Begriff Regularisierung ?

Matthew Drury
quelle
1
Ich vermute, dass die Regression auf Galton zurückgeht. Steve Stigler sagte, wenn jemand behauptet, der Erste zu sein, wird er als falsch eingestuft. Viele Leute denken, Efron war der erste, der den Begriff Bootstrap im Kontext der Statistik geprägt hat. Simon behauptete jedoch, es in den frühen 1960er Jahren benutzt zu haben. Es gibt viele verschiedene Anwendungen der Regularisierung in Mathematik und Statistik. In Wikipedia: en.wikipedia.org/wk/Regularization_(mathematics) .
Michael R. Chernick
So viele Methoden, so viele mögliche Anfänge.
Michael R. Chernick
3
@MichaelChernick Ich bevorzuge Tukeys Bezeichnung für "Bootstrap", "The Shotgun", da es jedes Problem, das du hast, zum
Erliegen bringt
6
Ich weiß, dass der Begriff seit vor den 1980er Jahren gebräuchlich ist. Tikhonov, Arsenin 1977 schrieb einen Text "Solution of Ill-Posed Problems", der ein Verfahren beschreibt, mit dem geglättete Lösungen für überbestimmte lineare Gleichungen erhalten werden können. Dieses Ergebnis wurde später als gleichwertig mit der Ridge Regression befunden (siehe Girard 1991). Ich denke, Tikhonov hat den Namen "Methode der Regularisierung" verwendet. Ich denke außerdem, dass Hastie die "Regularisierung" in einer Weise abstrahiert hat, die ihre moderne Verwendung widerspiegelt.
AdamO
5
Begriffe wie "Regularisierung von Sequenzen" gibt es in der Mathematik schon seit langem (sicherlich seit den 1920er Jahren), was eine ziemlich enge Beziehung zur Regularisierung von schlecht gestellten Problemen hat. Ich vermute, dass die Verwendung des Wortes in der Mathematik von seiner Verwendung in der Technik (zum Beispiel "Regularisierung des Flusses") herrühren würde.
Glen_b

Antworten:

18

Ähnlich wie Matthew Gunns Beitrag ist dies auch keine wirkliche Antwort, sondern eher ein plausibler Kandidat.

Ich hörte auch zuerst von dem Begriff "Regularisierung" im Zusammenhang mit der Tikhonov-Regularisierung und insbesondere im Zusammenhang mit (linearen) inversen Problemen in der Geophysik. Interessanterweise hat Tikhonov , obwohl ich geglaubt hatte, dass dies wahrscheinlich auf meinen Studienbereich zurückzuführen ist (siehe meinen Benutzernamen), anscheinend tatsächlich einen Großteil seiner Arbeit in diesem Bereich geleistet!

Meine Vermutung ist , dass der moderne „Regularisierung“ Ansatz wahrscheinlich hat mit Tikhonov Arbeit stammen. Aufbauend auf dieser Spekulation besteht mein Beitrag hier aus zwei Teilen.

Der erste Teil ist (sessel-) historischer Natur (basierend auf der Durchsicht von Papiertiteln und meinen eigenen Vorurteilen!). Während die 1963 erschienene Veröffentlichung Lösung falsch formulierter Probleme und die Regularisierungsmethode die erste Verwendung des Begriffs "Regularisierung" zu sein scheinen, wäre ich mir nicht sicher, ob dies zutrifft. Diese Referenz wird in Wikipedia als zitiert

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504. Übersetzt in "Lösung falsch formulierter Probleme und Regularisierungsmethode". Sowjetische Mathematik. 4: 1035–1038.

Es gibt den Eindruck, dass Tikhonov selbst zumindest einen Teil dieses Werks ursprünglich auf Russisch verfasst hat, so dass die Formulierung "Regularisierung" möglicherweise von einem späteren Übersetzer geprägt wurde. [UPDATE: Nein, "регуляризации" = Regularisierung , siehe Kommentar von Cagdas Ozgenc.] Darüber hinaus scheint diese Arbeit Teil einer kontinuierlichen Forschungslinie zu sein, die Tikhonov über einen viel längeren Zeitraum durchgeführt hat . Zum Beispiel das Papier

Tichonow, Andrej Nikolajewitsch (1943). "Об устойчивости обратных задач" [Zur Stabilität inverser Probleme]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

zeigt, dass er sich vor mindestens 20 Jahren mit demselben allgemeinen Thema befasst hat. Diese Zeitlinie legt jedoch nahe, dass die Invers-Problem-Arbeit wahrscheinlich viel näher an 1963 als an 1943 begann.

[ UPDATE: Diese Übersetzung des Papiers von 1943 zeigt, dass die Terminologie für " Regularität " hier verwendet wurde, um sich auf die "Stabilität des inversen Problems (oder die Kontinuität der inversen Abbildung)" zu beziehen .]

Der zweite Teil meines Beitrags ist eine Hypothese darüber, wie "Regularisierung" ursprünglich in diesem Zusammenhang gedacht gewesen sein könnte. Sehr häufig wird "regelmäßig" als Synonym für "glatt" verwendet, insbesondere bei der Beschreibung der Kurven- und / oder Oberflächengeometrie. In den meisten Anwendungen der Geophysik besteht die gewünschte Lösung in einer gerasterten Schätzung eines räumlich verteilten Feldes , und die Tikhonov-Regularisierung wird verwendet, um vorab eine Glätte zu erzwingen.

(Die Tikhonov-Matrix ist in der Regel ein diskreter Operator für räumliche Ableitungen , ähnlich wie PDE-Matrizen, im Vergleich zur Identitätsmatrix der Ridge-Regression. Dies liegt daran, dass bei diesen Gitternetz- / Vorwärtsmodellen der Nullraum der Vorwärtsmodellmatrix tendenziell eingeschlossen ist Dinge wie "Schachbrett-Modi", die die Ergebnisse verschmutzen, sofern sie nicht bestraft werden (ähnlich wie hier ).

Update: Diese Probleme werden in meiner Antwort hier veranschaulicht .


Zusammenfassung

  1. Ich habe auch meine Stimme für Tikhonov als Urheber abgegeben (wahrscheinlich um 1963)
  2. Die ursprünglichen Anwendungen waren möglicherweise eine geophysikalische inverse Modellierung, sodass sich der Begriff "Regularisierung" möglicherweise darauf bezieht, die resultierenden Karten * flüssiger, dh "regelmäßig" zu machen.

(* Basierend auf dem aktualisierten Zitat aus dem Jahr 1943 scheint diese Formulierung wahr zu sein ... aber aus dem falschen Grund! Die relevante "Karte" befand sich nicht zwischen Gitter und Feld, , aber die inverse Abbildung von einem Vorwärtsmodell .)θ = F - 1 [ u ]u[x]=F[θ]θ=F1[u]

GeoMatt22
quelle
10
1963 Papier enthält "Regularisierung" in der russischen Version des Titels. Sofern nicht jemand ins Englische übersetzt hat und Tikhonov den Titel in seine phonetische Lesart zurückübersetzte, befindet er sich dort auf dem Original. "O rehsnenii nikorrektna postavlennih zadach i metodi regularizatsii"
Cagdas Ozgenc
14

Dies ist teils eine Antwort, teils ein langer Kommentar. Eine unvollständige Kandidatenliste:

  1. Tichonow, Andrej. "Lösung falsch formulierter Probleme und Regularisierungsmethode." Sowjetische Mathematik. Dokl .. Vol. 5. 1963. Tikhonov ist bekannt für die Tikhonov-Regularisierung (auch als Gratregression bekannt).

  2. Es gibt ein Konzept der Regularisierung in der Physik , das mindestens bis in die 1940er Jahre zurückreicht, aber ich sehe keinen Zusammenhang mit der Tikhonov-Regularisierung? (Ich bin allerdings kein Physiker.)

  3. Technische Texte sprechen von einer Regularisierung eines Flusses (zur Verbesserung der Navigation), die mindestens bis in die 1880er Jahre zurückreicht.

Bei der Suche in http://books.google.com ist der Begriff "Regularisierung" erst in den 1970er Jahren weit verbreitet, als er im Kontext von Mathematik- und Physikbüchern immer wieder auftaucht.

Matthew Gunn
quelle
5
1. ist definitiv ein Kandidat. Ich denke jedoch nicht, dass 2. oder 3. dem mathematischen Konzept der Regularisierung entsprechen, nach dem das OP strebt. Wikipedia stimmt darin überein, dass sie "Regularisierung (Mathematik)" und "Regularisierung (Physik)" separate Artikel gemacht haben.
Gordon Smyth
3

Am einfachsten ist, dass der Begriff die natürliche Entwicklung der wissenschaftlichen Begriffe überstanden hat, weil er das Kernziel der Technik erfasst: Von einer Reihe von Lösungen zu einem schlecht gestellten Problem wählt er die Lösungen aus, die regelmäßig sind , d. H.

gemäß der Regel

(freier Wörterbuch der Definition )

Dies wird auch in der gängigen Sprache verwendet, um beispielsweise in der Zimmerei eine glatte Oberfläche zu gestalten. In ähnlicher Weise sehen die Lösungen eines Regressionsproblems regelmäßiger aus, wenn die Regel darin besteht, die Gesamtschwankung (TV) ungleichmäßiger Bits des rekonstruierten Signals zu minimieren (beispielsweise gemessen durch die Gesamtenergie des Gradienten).

0

meduz
quelle