was heißt numerische integration ist zu teuer?

Ich lese über Bayes'sche Folgerungen und bin auf den Satz "Numerische Integration der Grenzwahrscheinlichkeit ist zu teuer" gestoßen.

Ich habe keinen mathematischen Hintergrund und habe mich gefragt, was genau hier teuer bedeutet. Ist es nur in Bezug auf Rechenleistung oder gibt es etwas mehr.

bayesian numerical-integration variational-bayes approximate-inference Diskretion
quelle

Dies bedeutet, dass zu viel Rechenleistung erforderlich ist, wahrscheinlich in Bezug auf die CPU-Zeit (da alle Rechenressourcen im Wesentlichen entweder Arbeitsspeicher oder CPU sind).

Sycorax sagt Reinstate Monica

Tatsächlich kann die Kommunikationsbandbreite manchmal zu einem Problem werden (z. B. zwischen Cache / RAM / Platte seriell oder zwischen Rechenknoten parallel).

GeoMatt22

Dies bedeutet, dass es zu lange dauert, bis ein einzelner Computer oder ein Computernetzwerk die Berechnung durchführt.

Jack Maddington

Und wenn die marginale Wahrscheinlichkeit innerhalb einer Schleife benötigt wird, ist das, was als zu teuer gilt, viel weniger. Z.B. Eine 1-Sekunden-Integrationsroutine klingt schnell, aber es kann "zu teuer" sein, wenn Sie es 1 Million Mal tun müssen ...

Matthew Gunn

In Bezug auf den Rechenaufwand teuer, da die Berechnung mehr Aufwand erfordert, als Sie sich leisten können, da sie zu viel Zeit beansprucht oder zu viele Prozessoren benötigt, um in angemessener Zeit ausgeführt zu werden.

User253751

Antworten:

Im Zusammenhang mit Rechenproblemen, einschließlich numerischer Methoden für die Bayes'sche Folgerung, könnte sich der Ausdruck "zu teuer" im Allgemeinen auf zwei Probleme beziehen

Ein bestimmtes Problem ist zu "groß", um es für ein bestimmtes " Budget " zu berechnen.
Ein allgemeiner Ansatz ist schlecht skalierbar, dh er weist einen hohen Rechenaufwand auf

In beiden Fällen können die Rechenressourcen, aus denen das "Budget" besteht, aus Dingen wie CPU-Zyklen ( Zeitkomplexität ), Speicher ( Raumkomplexität ) oder Kommunikationsbandbreite ( innerhalb oder zwischen Rechenknoten) bestehen. Im zweiten Fall würde "zu teuer" unlösbar bedeuten .

Im Kontext der Bayes'schen Berechnung bezieht sich das Zitat wahrscheinlich auf Probleme mit der Marginalisierung einer großen Anzahl von Variablen .

Zum Beispiel beginnt die Zusammenfassung dieses kürzlich erschienenen Artikels

Die Integration ist vom Fluch der Dimensionalität betroffen und wird mit zunehmender Dimensionalität des Problems schnell unlösbar.

und fährt fort zu sagen

Wir schlagen einen randomisierten Algorithmus vor, der ... wiederum beispielsweise zur Randberechnung oder Modellauswahl verwendet werden kann.

(Zum Vergleich werden in diesem kürzlich erschienenen Buchkapitel Methoden behandelt, die als "nicht zu teuer" gelten.)

GeoMatt22
quelle

Das ist eine großartige Antwort. Ich möchte jedoch hinzufügen, dass "teuer" zunehmend auch ganz wörtlich genommen werden kann. - Man kann seine Rechenleistung und seinen Speicher drastisch steigern (auf Supercomputer-Niveau, so lange man braucht), heutzutage sehr einfach (und recht billig) ... aber für große Probleme wird es sich immer noch als zu teuer herausstellen - - Insofern kostet es buchstäblich mehr Geld, als Sie zur Verfügung haben.

Glen_b -Reinstate Monica

@ Glen_b das ist ein guter Punkt! Ich stelle mir vor, dass diese Bedeutung in der veröffentlichten Literatur weniger verbreitet ist ... aber in Vorschlägen (und ihren Rezensionen!)

GeoMatt22

@ GeoMatt22 Es ist eigentlich eine andere Art, die gleiche Bedeutung zu sagen, wenn man darüber nachdenkt.

User253751

@ GeoMatt22 Danke! Ich verstehe jetzt vollkommen, was im Bayes'schen Kontext teuer bedeutet.

discretetimeisnice

Ich werde Ihnen ein Beispiel für einen Einzelfall geben, um zu zeigen, warum Integration / Summierung sehr teuer ist.

$100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

$P(X_1)$

P (X_{1}) = \sum_{X_{2}} \sum_{X_{3}} \dots \sum_{X_{100}} P (X_{1}, X_{2}, \dots, X_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

$99$ $2^{99}$

In der Literatur zu probabilistischen grafischen Modellen wird eine solche Methode zur Berechnung der Randverteilung als "Brute Force" -Ansatz zur Durchführung von "Inferenz" bezeichnet. Mit Namen wissen wir vielleicht, dass es teuer ist. Und Menschen nutzen viele andere Möglichkeiten, um die Inferenz durchzuführen, z. B. um die marginale Verteilung effektiv zu erhalten. "Andere Wege" einschließlich ungefährer Folgerungen usw.

Haitao Du
quelle

Vielleicht könnten Sie auch kommentieren, warum der Bayes'sche Ansatz hier hilfreich ist, wie die in diesem Zusammenhang aufgeworfene Frage.

Tim

Normalerweise ist es bei der Durchführung von Bayes-Inferenzen leicht möglich, eine starke Integration von Störvariablen zu beobachten. Ein anderes Beispiel kann eine numerische Abtastung sein, wie in diesem Fall von einer Wahrscheinlichkeitsfunktion, was bedeutet, eine zufällige Abtastung von einer gegebenen Verteilung durchzuführen. Mit zunehmender Anzahl von Modellparametern wird diese Abtastung extrem schwer und es wurden verschiedene Berechnungsmethoden entwickelt, um das Verfahren zu beschleunigen und sehr schnelle Implementierungen zu ermöglichen, wobei natürlich ein hohes Maß an Genauigkeit beibehalten wird. Diese Techniken sind zum Beispiel MC, MCMC, Metropolis ecc. Schauen Sie sich die Bayes'sche Datenanalyse von Gelman et. al es sollte Ihnen eine breite Einführung geben! Viel Glück

Lcol
quelle

Diese Antwort scheint die Hauptfrage des OP nach der Bedeutung von "teuer" in diesem Zusammenhang nicht zu beantworten. Oder zumindest nicht sehr deutlich.

Shufflepants

Die kurze Erklärung besteht darin, den Leser mit der Bedeutung des Rechenaufwands bei der Durchführung spezifischer Analysen in der Bayes'schen Statistik vertraut zu machen, da dieser angab, kein Mathematiker zu sein. Wie auch immer,

ich