Aus jedem generischen Abtastalgorithmus kann ein Optimierungsalgorithmus abgeleitet werden.
In der Tat genügt es, um eine beliebige Funktion zu maximieren , Abtastwerte aus g ∼ e f / T zu ziehen . Für klein genug ist, fallen diese Abtastwerte in die Nähe des globalen Maximums (oder der lokalen Maxima in der Praxis) der Funktion .f
Mit "Abtastung" meine ich, eine Pseudozufallsstichprobe aus einer Verteilung zu ziehen, wenn eine logarithmische Wahrscheinlichkeitsfunktion gegeben ist, die bis zu einer Konstanten bekannt ist. Zum Beispiel MCMC-Abtastung, Gibbs-Abtastung, Strahlabtastung usw. Mit "Optimierung" meine ich den Versuch, Parameter zu finden, die den Wert einer gegebenen Funktion maximieren.
Ist das umgekehrt möglich? Können wir bei einer gegebenen Heuristik, um das Maximum einer Funktion oder eines kombinatorischen Ausdrucks zu finden, ein effizientes Stichprobenverfahren extrahieren?
Die HMC scheint beispielsweise die Gradienteninformationen zu nutzen. Können wir ein Stichprobenverfahren konstruieren, das eine BFGS-ähnliche Approximation des Hessischen nutzt? (edit: anscheinend ja: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf ) Wir können MCTS bei kombinatorischen Problemen verwenden, können wir das übersetzen? in ein Stichprobenverfahren?
Kontext: Eine Schwierigkeit bei der Stichprobe besteht häufig darin, dass der größte Teil der Masse der Wahrscheinlichkeitsverteilung in einem sehr kleinen Bereich liegt. Es gibt interessante Techniken, um solche Regionen zu finden, aber sie lassen sich nicht direkt in unvoreingenommene Stichprobenverfahren übersetzen.
Bearbeiten: Ich habe jetzt das anhaltende Gefühl, dass die Antwort auf diese Frage in etwa der Gleichheit der Komplexitätsklassen #P und NP entspricht, was die Antwort wahrscheinlich zu einem "Nein" macht. Es erklärt, warum jede Abtasttechnik eine Optimierungstechnik ergibt, aber nicht umgekehrt.