Referenzen zur numerischen Optimierung für Statistiker

Ich suche nach einer soliden Referenz (oder Referenzen) zu numerischen Optimierungstechniken, die sich an Statistiker richten, dh diese Methoden würden auf einige Standard-Inferenzprobleme angewendet (z. B. MAP / MLE in gängigen Modellen). Dinge wie Gradientenabstieg (gerade und stochastisch), EM und seine Ausgründungen / Verallgemeinerungen, simuliertes Tempern usw.

Ich hoffe, dass es einige praktische Hinweise zur Implementierung gibt (so oft fehlen Papiere). Es muss nicht vollständig explizit sein, sollte aber zumindest eine solide Bibliographie enthalten.

Bei einigen flüchtigen Suchen wurden einige Texte gefunden: Numerische Analyse für Statistiker von Ken Lange und Numerische Methoden der Statistik von John Monahan. Bewertungen von jedem scheinen gemischt (und spärlich). Von den beiden deutet eine Durchsicht des Inhaltsverzeichnisses darauf hin, dass die 2. Ausgabe von Langes Buch dem am nächsten kommt, wonach ich suche.

James Gentles Computational Statistics (2009).

James Gentles Matrixalgebra: Theorie, Berechnungen und Anwendungen in der Statistik (2007) , mehr gegen Ende des Buches, der Anfang ist auch großartig, aber es ist nicht genau das, wonach Sie suchen.

Christopher M. Bishops Mustererkennung (2006).

Hastie et al. Die Elemente des statistischen Lernens: Data Mining, Inferenz und Vorhersage (2009).

Suchen Sie etwas so Niedriges wie einen Text, der eine Frage beantwortet wie: "Warum ist es effizienter, Matrizen und höherdimensionale Arrays als 1-D-Array zu speichern, und wie kann ich sie im üblichen M indizieren?" (0, 1, 3, ...) Weg? " oder so etwas wie "Welche gängigen Techniken werden verwendet, um Standardalgorithmen wie Gradientenabstieg, EM usw. zu optimieren?"?

Die meisten Texte zum maschinellen Lernen enthalten ausführliche Diskussionen zu den gesuchten Themen.

Nocedal und Wrights Buch

http://users.eecs.northwestern.edu/~nocedal/book/

ist eine gute Referenz für die Optimierung im Allgemeinen, und viele Dinge in ihrem Buch sind für einen Statistiker von Interesse. Es gibt auch ein ganzes Kapitel über nichtlineare kleinste Quadrate.

Optimierung , von Kenneth Lange (Springer, 2004), rezensiert in JASA von Russell Steele. Es ist ein gutes Lehrbuch mit Gentles Matrix Algebra für einen Einführungskurs auf Matrix Analysis und Optimierung, wie die von Jan de Leeuw (Kursen / 202B).

Als Ergänzung zu diesen finden Sie möglicherweise Magnus, JR und H. Neudecker (2007). Matrixrechnung mit Anwendungen in Statistik und Ökonometrie, 3. Auflage nützlich, wenn auch schwer. Es entwickelt eine vollständige Behandlung von infinitesimalen Operationen mit Matrizen und wendet sie dann auf eine Reihe typischer statistischer Aufgaben wie Optimierung, MLE und nichtlineare kleinste Quadrate an. Wenn Sie am Ende des Tages die Rückwärtsstabilität Ihrer Matrixalgorithmen herausfinden, ist ein gutes Verständnis der Matrixrechnung unabdingbar. Ich persönlich habe die Werkzeuge der Matrixrechnung verwendet, um asymptotische Ergebnisse in räumlichen Statistiken und multivariaten parametrischen Modellen abzuleiten.