Was bedeutet eine geschlossene Lösung?

82

Ich bin ziemlich oft auf den Begriff "geschlossene Lösung" gestoßen. Was bedeutet eine geschlossene Lösung? Wie kann man feststellen, ob es für ein bestimmtes Problem eine formschlüssige Lösung gibt? Bei der Online-Suche habe ich einige Informationen gefunden, aber nichts im Zusammenhang mit der Entwicklung eines statistischen oder probabilistischen Modells / einer probabilistischen Lösung.

Ich verstehe Regression sehr gut. Wenn also jemand das Konzept mit Bezug auf Regression oder Modellanpassung erklären kann, ist es leicht zu konsumieren. :)

arjsgh21
quelle
4
Diese Frage scheint schon seit einiger Zeit ein Magnet für Antworten von geringer Qualität zu sein. Ich dachte, vielleicht sollte es vorerst geschützt werden.
Glen_b

Antworten:

37

Eine Gleichung wird als geschlossene Lösung bezeichnet, wenn sie ein gegebenes Problem in Bezug auf Funktionen und mathematische Operationen aus einer gegebenen allgemein akzeptierten Menge löst. Beispielsweise würde eine unendliche Summe im Allgemeinen nicht als geschlossene Form betrachtet Die Wahl, was als geschlossene Form bezeichnet wird und was nicht, ist eher willkürlich, da eine neue "geschlossene Form" einfach als unendliche Summe definiert werden könnte. --Wolfram Alpha

und

In der Mathematik wird ein Ausdruck als Ausdruck in geschlossener Form bezeichnet, wenn er analytisch in Form einer endlichen Anzahl bestimmter bekannter Funktionen ausgedrückt werden kann. Typischerweise werden diese bekannten Funktionen als Elementarfunktionen definiert. Konstanten, eine Variable x, Elementaroperationen von Arithmetik (+ - × ÷), n-ten Wurzeln, Exponent und Logarithmus (die somit auch trigonometrische Funktionen und inverse trigonometrische Funktionen enthalten) Oft werden Probleme als traktabel bezeichnet, wenn sie sich in Begriffen lösen lassen eines Ausdrucks in geschlossener Form. " - Wikipedia

Ein Beispiel für eine geschlossene Lösung in linearer Regression wäre die kleinste quadratische Gleichung

β^=(XTX)-1XTy

quelle
Wenn man bedenkt, dass alle Regressionsszenarien als Problem der Lösung eines Gleichungssystems betrachtet werden können, wann würde es keine geschlossene Lösung geben? Ein schlecht gestelltes oder spärliches Problem erfordert eine ungefähre Lösung. Gibt es also keine geschlossene Lösung? Wie wäre es, wenn man konjugierten Gradientenabstieg mit Regularisierung verwendet?
Arjsgh21
Ich fand diese Diskussion hilfreich - „in geschlossener Form für Regressionsparameter Solving vs Gradientenabfallsaktualisierung“ Link
arjsgh21
@ arjsgh21 brauchst du noch weitere klärungen, was es heißt, eine geschlossene form zu sein? Weil Ihre neue Frage zu sein scheint, wann es geschlossene Lösungen (oder nicht) für Regressionsprobleme gibt, was meiner Meinung nach ein völlig neues Thema ist und als neue Frage gestellt werden sollte.
Danke BabakP. Ich denke, ich verstehe es jetzt, in Bezug auf Regression und auch sonst.
arjsgh21
1
Es verwirrt mich, warum CrossValidated das einzige "stackexchange forum" ist, das konsequent das Verschleiern, aber korrekte Antworten gegenüber Antworten unterstützt, die Verständnis vermitteln. Die beste Antwort der aktuellen Ernte ist @ Luca's und wird nicht gewürdigt. Es ist wahr, es gibt nur einen Link, aber einen großartigen, leicht verständlichen Link. Diese allzu gelehrte Antwort hilft nur Leuten, die die Antwort bereits kennen, das Problem zu lösen. :(
Mike Williamson
17

Die meisten Schätzverfahren beinhalten das Auffinden von Parametern, die eine objektive Funktion minimieren (oder maximieren). Zum Beispiel minimieren wir mit OLS die Summe der quadratischen Residuen. Mit der Maximum-Likelihood-Schätzung maximieren wir die Log-Likelihood-Funktion. Der Unterschied ist trivial: Minimierung kann durch Verwendung des Negativs der Zielfunktion in Maximierung umgewandelt werden.

Manchmal kann dieses Problem algebraisch gelöst werden und eine geschlossene Lösung ergeben. Mit OLS lösen Sie das System der Bedingungen erster Ordnung und erhalten die vertraute Formel (obwohl Sie wahrscheinlich noch einen Computer benötigen, um die Antwort auszuwerten). In anderen Fällen ist dies mathematisch nicht möglich und Sie müssen mit einem Computer nach Parameterwerten suchen. In diesem Fall spielen der Computer und der Algorithmus eine größere Rolle. Nichtlineare kleinste Quadrate sind ein Beispiel. Sie erhalten keine explizite Formel. Alles, was Sie erhalten, ist ein Rezept, das Sie für die Implementierung auf dem Computer benötigen. Das Rezept könnte mit einer ersten Vermutung beginnen, wie die Parameter lauten und wie sie variieren können. Sie probieren dann verschiedene Parameterkombinationen aus und sehen, welche Ihnen den niedrigsten / höchsten Zielfunktionswert liefert. Dies ist der Brute-Force-Ansatz und dauert lange. Zum Beispiel,105

Oder Sie beginnen mit einer Vermutung und verfeinern diese Vermutung in eine Richtung, bis die Verbesserungen in der Zielfunktion unter einem bestimmten Wert liegen. Diese werden normalerweise als Gradientenmethoden bezeichnet (obwohl es andere gibt, die den Gradienten nicht verwenden, um zu bestimmen, in welche Richtung sie gehen sollen, wie genetische Algorithmen und simuliertes Tempern). Einige Probleme wie dieses garantieren, dass Sie schnell die richtige Antwort finden (quadratische Zielfunktionen). Andere geben keine solche Garantie. Sie könnten befürchten, dass Sie sich nicht mehr auf ein globales, sondern auf ein lokales Optimum festgelegt haben, und versuchen, eine Reihe von ersten Vermutungen anzustellen. Möglicherweise stellen Sie fest, dass sehr unterschiedliche Parameter denselben Wert für die Zielfunktion liefern, sodass Sie nicht wissen, welcher Satz ausgewählt werden soll.

E[y]=exp{α}

Q.N(α)=-12NichN(yich-exp{α})2

α=lny¯ln(y¯+k)

Dimitriy V. Masterov
quelle
Haben Sie im letzten Satz implizit "analytisch" mit "geschlossen" gleichgesetzt?
Whuber
2
Ich dachte dann auch: mathworld.wolfram.com/Analytic.html
Dimitriy V. Masterov
Haben Sie die Begriffsklärungskommentare am Ende dieser MathWorld-Seite gesehen? Das Problem besteht darin, dass im vorliegenden Kontext "analytisch" auf verschiedene Arten verstanden werden kann. Auch "analytisch" und "analytisch" bedeuten nicht genau dasselbe (genau wie "historisch" und "historisch" unterschiedliche Bedeutungen haben).
Whuber
Mir ist nicht bewusst, dass es einen Unterschied zwischen "analytischer Lösung", "analytischer Lösung" und "geschlossener Form" gibt. MathWorld hat keinen separaten Eintrag für analytical und definiert eine analytische Lösung für ein Problem als eine, die in "geschlossener Form" in Bezug auf bekannte Funktionen, Konstanten usw. geschrieben werden kann. MW sagt, dass analytic und analytical Varianten sind . Die Unterscheidung zwischen historisch und historisch ist gültig, aber ich verfolge nicht, was das mit diesem Fall zu tun hat. Wenn ich falsch liege, korrigieren Sie mich bitte.
Dimitriy V. Masterov
2
In vielen mathematischen Kontexten ist "analytisch" ein präziser Kunstbegriff für jede Funktion, die lokal als Potenzreihe mit positivem Konvergenzradius ausgedrückt werden kann. Wie die Zitate von BabakP zeigen, erhält die "geschlossene Form" nur im Rahmen allgemein anerkannter Verfahren zur Kombination von Werten (von denen normalerweise angenommen wird, dass sie aus elementaren, aber nicht transzendentalen Funktionen bestehen) eine Bedeutung.
whuber
13

Ich denke, dass diese Website eine einfache Intuition bietet, ein Auszug davon ist:

Eine Lösung in geschlossener Form (oder ein Ausdruck in geschlossener Form) ist eine beliebige Formel, die in einer endlichen Anzahl von Standardoperationen ausgewertet werden kann. ... Eine numerische Lösung ist jede Näherung, die in einer endlichen Anzahl von Standardoperationen ausgewertet werden kann. Lösungen in geschlossener Form und numerische Lösungen sind insofern ähnlich, als beide mit einer endlichen Anzahl von Standardoperationen bewertet werden können. Sie unterscheiden sich darin, dass eine geschlossene Lösung genau ist, während eine numerische Lösung nur eine ungefähre ist.

Luca Bertinetto
quelle
2
Dies ist zwar nur ein Link, aber definitiv die hilfreichste Antwort.
Mike Williamson
2
Waynes Aufnahme eines Zitats aus dem Link verbesserte die Antwort auf jeden Fall.
Glen_b
2
Außerdem ist Lucas Link jetzt tot.
Naramsim
-2

Suchen Sie nach Laienbegriffen oder dem schmerzhaften Wortschatz, der die Bedeutung genau definiert? Ich gehe davon aus, dass Laienbegriffe überall zu finden sind. Angenommen, Sie wollten die geschlossene Lösung der Quadratwurzel von 8. Die geschlossene Lösung ist 2 * (2) ^ 1/2 oder das Zweifache der Quadratwurzel von zwei. Dies steht im Gegensatz zu der nicht geschlossenen Lösung 2.8284. (siehe Wikipedia-Quadratwurzel von 2, um zu sehen, dass sie bei 69 Dezimalstellen auf 1 / 10.000 genau ist). Eine ist mathematisch absolut definiert, die andere nicht. Eine Lösung mit geschlossener Form liefert eine genaue Antwort, und eine Lösung ohne geschlossene Form ist eine Annäherung. Sie können jedoch eine Lösung ohne geschlossene Form erhalten, die der Lösung mit geschlossener Form so nahe kommt, wie Sie möchten. Klingt kontraintuitiv, aber wenn Sie es genauer brauchen, müssen Sie nur ein bisschen mehr Berechnungen anstellen.

Käsepfeife
quelle
3
Dies ist eine ungewöhnliche Verwendung des Begriffs "geschlossene Form". Könnten Sie eine Referenz angeben?
Whuber
1
Ich bin mir nicht sicher, ob ich den Umfang der unterstützenden Dokumentation ausreichend bereitstellen kann, um eine Debatte darüber zu gewinnen, ohne dass mehr Arbeit anfällt, als ich bereit bin. Suchen Sie in Wikipedia nach Closed Form Expression. In den letzten beiden Abschnitten wird beschrieben, wie Lösungen mit geschlossener Form nicht unbedingt erforderlich sind, da numerische Berechnungen normalerweise erfolgreich verwendet werden können, um zu einer Lösung zu gelangen. Im folgenden Abschnitt wird beschrieben, wie einige mathematische Programme versuchen, Lösungen mit geschlossener Form aus numerischen Werten zu generieren. Lösungen in geschlossener Form sind präzise (zu wenig Platz)
Cheesepipe
5
Wikipedia ist in Ordnung als Referenz. In diesem Fall haben Sie möglicherweise den Ausdruck "geschlossene Form" mit der Nummer "geschlossene Form" in Konflikt gebracht. Sie bedeuten nicht die gleichen Dinge.
Whuber
-2

Geschlossene Form = geschlossene (funktionale) Form

Geschlossen bedeutet, dass nichts mehr hineingehen kann. keine Alternative => nur eine Lösung => nur eine Funktion, die die Beziehung zwischen dem Ergebnis und den Prädiktoren herstellen kann.

Vivek Astvansh
quelle
3
Dies ist auch eine ungewöhnliche Verwendung des Begriffs. Können Sie einige Beispiele für die Verwendung in diesem Zusammenhang nennen? Ich bin meistens überrascht, weil man oft geschlossene Form / keine geschlossene Form in Bezug auf Integrale hört, die nicht wirklich ein Ergebnis oder Prädiktoren haben.
Matt Krause