Optimierung stochastischer Computermodelle

Dies ist ein schwieriges Thema für mich, da die Wörter Optimierung und Stochastik in einer Suche fast automatisch standardmäßig nach stochastischer Optimierung suchen. Was ich aber wirklich wissen möchte, ist, welche Methoden zur Optimierung von Computermodellen existieren, wenn die Ausgabe des Computermodells stochastisch, dh nicht deterministisch ist?

Wenn Sie beispielsweise ein Computermodell betrachten, bei dem es eine unbekannte Funktion $f(x)$ , die die Ausgabe des Computermodells darstellt, gibt es viele statistische Methoden zur Lösung von Problemen wie

$$\begin{align*} \min&\,\,\,\, f(x)\\ x&\in\mathcal{X} \end{align*}$$

wenn deterministisch ist. Aber was passiert, wenn stochastisch ist? Gibt es eine Lösung für das Problem oder können wir sie bestenfalls nur lösen?$f(x)$$f(x)$

$$\begin{align*} \min&\,\,\,\, \mathbb{E}[f(x)]\\ x&\in\mathcal{X} \end{align*}$$

Dabei ist der übliche Erwartungsoperator.$\mathbb{E}(\cdot)$

( Erweitern Sie meinen Kommentar zu einer richtigen Antwort. )

Wie ich bereits erwähnte, hängt es von Ihrem Ziel ab.

Der erwartete Wert ist nur eine von vielen möglichen Auswahlmöglichkeiten für das Optimierungsziel. Angenommen, die f ( x ) sind normal verteilt, könnten Sie Folgendes tun:$\mathbb{E}[f(x)]$$f(x)$

für einigeκ∈R, die die Risikosensitivität manipulieren. Wennκ>0ist, suchen Sie nach einerrobustenLösung, die wahrscheinlich am besten ist und große positive Schwankungen verhindert. Umgekehrtwürdeein negativesκeine "optimistische" Optimierung bevorzugen, die nach großen negativen Schwankungen sucht (negativ ist gut, da wir minimieren). Sie könnenκbasierend auf Quantilen der Normalverteilungauswählen(siehe Referenz 2 unten).

$$x^\text{opt} = \arg \min_x \left\{ \mathbb{E}[f(x)] + \kappa \sqrt{\mathbb{Var}[f(x)]} \right\}$$ $\kappa \in \mathbb{R}$$\kappa > 0$$\kappa$$\kappa$

Im Allgemeinen befasst sich die Bayes'sche Optimierung (BO, die mit Gaußschen Prozessen und Kriging zusammenhängt ) mit kostspieligen und manchmal verrauschten Funktionsbewertungen; obwohl der größte Schwerpunkt der Literatur auf dem ersteren Teil lag. Zu dieser Frage finden Sie Bewertungen zur Bayes'schen Optimierung .

Mehrere Personen haben BO auf verrauschte Funktionen angewendet. Als Einführung in das Thema hielt David Ginsbourger auf dem Workshop über Gaußsche Prozesse zur globalen Optimierung (Sheffield, 17. September 2015) einen schönen Vortrag mit dem Titel "Variationen über die erwartete Verbesserung". Sie finden seinen Vortrag hier und alle Vorträge sind auf dieser Seite verfügbar (ich empfehle auch alle anderen Vorträge als hervorragende allgemeine Einführung in BO.)

Als Referenz würde ich mit der Arbeit von Ginsbourger und Kollegen sowie Gramacy und Kollegen beginnen:

1. Picheny, V. und Ginsbourger, D., 2014. "Noisy Kriging-basierte Optimierungsmethoden: eine einheitliche Implementierung innerhalb des DiceOptim-Pakets". Computational Statistics & Data Analysis , 71, S. 1035–1053. ( Link )

2. Picheny, V., Ginsbourger, D., Richet, Y. und Caplin, G., 2013. "Quantilbasierte Optimierung von verrauschten Computerexperimenten mit einstellbarer Präzision". Technometrics , 55 (1), S. 2-13. ( Link )

3. Gramacy, RB und Lee, HK, 2012. "Bayesianische Baum-Gauß-Prozessmodelle mit einer Anwendung auf die Computermodellierung". Zeitschrift der American Statistical Association . ( Link )

4. Gramacy, RB und Apley, DW, 2015. "Lokale Gaußsche Prozessnäherung für große Computerexperimente". Journal of Computational and Graphical Statistics , 24 (2), S. 561-578. ( Link )

Sowohl Ginsburger und Gramacy haben R - Pakete , die ihre BO Methoden implementieren bzw. DiceOptim und TGP .

Die aktuellen Antworten konzentrieren sich auf die richtige (mathematische) Definition eines stochastischen Optimierungsziels - ich möchte eine etwas angewandtere Perspektive bieten.

Dieses Problem tritt häufig auf, wenn stochastische Modelle angepasst werden, z. B. unter Verwendung informeller oder synthetischer Wahrscheinlichkeiten. Referenz (1) bietet Ihnen eine Liste von Optionen, mit denen Sie den Abstand zwischen einem stochastischen Modell und den Daten definieren können.

Nachdem Sie Ihr Ziel auf diese Weise definiert haben, bleibt das Problem, das Optimum eines Mittelwerts eines verrauschten Ziels zu finden. Es gibt zwei Wege: a) Optimierung und b) MCMC-Abtastung. Sie haben speziell nach der Optimierung gefragt, aber ich möchte die MCMCs einbeziehen, da sie sich für diese Aufgabe oft besser verhalten.

a) Wenn Sie bei der Optimierung bleiben, müssen Sie sicherstellen, dass Sie nicht stecken bleiben und dass der Optimierer mit einem stochastischen Ziel umgehen kann. Kapitel 4 der Doktorarbeit von Matteo Fasiolo gibt einige Hinweise, siehe (2).

b) Wie wir in (1) bemerken, sind MCMCs im Allgemeinen robuster gegenüber einem stochastischen Ziel - unter milden Bedingungen hinsichtlich der Verteilung des Rauschens mittelt das MCMC das Rauschen weg und das abgetastete Ziel ist nicht von einem nicht verrauschten Ziel zu unterscheiden Ziel mit Mittelwert des verrauschten Ziels. Allerdings können auch MCMCs stecken bleiben, wenn sie auf eine besonders gute Bewertung stoßen. Was Sie jetzt NICHT tun dürfen, ist die folgende "offensichtliche" Idee: Berechnen Sie einfach sowohl den aktuellen als auch den vorgeschlagenen Wert in jeder MCMC-Iteration. Das Schlüsselwort, das hier nachgeschlagen werden muss, ist "pseudo-marginal", siehe auch hier und hier .

1) Hartig, F.; Calabrese, JM; Reineking, B.; Wiegand, T. & Huth, A. (2011) Statistische Inferenz für stochastische Simulationsmodelle - Theorie und Anwendung . Ecol. Lett., 14, 816 & ndash; 827.

2) Fasiolo, M. (2016) Statistische Methoden für die komplexe Populationsdynamik . Universität von Bath

Nehmen wir an, wir befinden uns in einem diskreten Wahrscheinlichkeitsraum, so dass . Intuitiv benötigen Sie eine Funktion U : R n → R, damit Sie U ( f ( x ) ) optimieren können . Sie können nur ein einziges Ziel optimieren!$f(x) \in \mathcal{R}^n$$U: \mathcal{R}^n \rightarrow \mathcal{R}$$U(f(x))$

Die Optimierung einer einzelnen Zielfunktion mag recht einschränkend klingen, ist es aber nicht ! Vielmehr kann ein einzelnes Ziel unglaublich unterschiedliche Präferenzen darstellen, die Sie möglicherweise gegenüber einer besseren oder schlechteren Lösung haben.

Wenn Sie weiterspringen, können Sie einfach eine Zufallsvariable auswählen und dann Folgendes lösen:$\lambda$

Dies ist eine einfache lineare Neugewichtung vonE[f(x)]. Wie auch immer, hier ist ein Argument dafür, warum es normalerweise in Ordnung ist, mehrere Ziele zu einem einzigen Ziel zusammenzufassen.

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $x$)} & E\left[\lambda f(x) \right] \\ \mbox{subject to} & x \in X \end{array}$$ $E[f(x)]$

Grundeinstellung:

• Sie haben die Auswahl Variable und eine zulässige Menge X .$x$$X$
• Ihre Wahl von führt zu einem zufälligen Ergebnis ˜ y = f ( x $x$$\tilde{y} = f(x)$
• Sie haben rationale Präferenzen gegenüber dem zufälligen Ergebnis. (Grundsätzlich können Sie sagen, ob Sie ein zufälliges Ergebnis ˜ y einem anderen vorziehen .)$\prec$$\tilde{y}$

Ihr Problem ist , wählen , so dass:$x^*\in X$

Im Englischen möchten Sie x ∗ wählen,damit keine realisierbare Wahl x zu einem Ergebnis führt, das f ( x ∗ ) vorgezogen wird.

$$\nexists_{x \in X} \quad f(x^*) \prec f(x)$$ $x^*$$x$$f(x^*)$

Gleichwertigkeit mit der Maximierung des Nutzens (unter bestimmten technischen Bedingungen)

Der technischen Einfachheit halber werde ich sagen, dass wir uns in einem diskreten Wahrscheinlichkeitsraum mit Ergebnissen befinden, damit ich zufällige Ergebnisse ˜ y mit einem Vektor y ∈ R n darstellen kann .$n$$\tilde{y}$$\mathbf{y} \in \mathcal{R}^n$

Unter bestimmten technischen Bedingungen (die im praktischen Sinne nicht einschränkend sind) entspricht das obige Problem der Maximierung einer Nutzfunktion . (Die Utility-Funktion weist mehr bevorzugten Ergebnissen eine höhere Zahl zu.)$U(\mathbf{y})$

Diese Logik würde für jedes Problem gelten, bei dem Ihre Auswahl zu mehreren Ergebnisvariablen führt.

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & U(f(x)) \\ \mbox{subject to} & x \in X \end{array}$$

$U$

$U$

$$U(\mathbf{y}) = E[u(y_i)] = \sum_i p_i u(y_i)$$ $p_i$$i$$u$$u$$U$

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i p_i u(y_i) \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$$

$u(y_i) = y_i$

$\lambda$

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i \lambda_i y_i \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$$

$\lambda_i$$p_i$

$\boldsymbol{\lambda}$$U(f(x))$