Statistische Modelle für lokalen Speicher / Computer, Netzwerklatenz und Bandbreitenjitter in HPC

Parallele Berechnungen werden häufig unter Verwendung einer deterministischen lokalen Berechnungsrate, des Latenzaufwands und der Netzwerkbandbreite modelliert. In Wirklichkeit sind diese räumlich variabel und nicht deterministisch. Studien wie Skinner und Kramer (2005) beobachten multimodale Verteilungen, aber die Leistungsanalyse scheint immer entweder deterministische oder Gaußsche Verteilungen zu verwenden (nicht nur ungenau, sondern aufgrund der positiven Wahrscheinlichkeit einer negativen Latenz inkonsistent).

Wurden statistische Modelle mit höherer Wiedergabetreue entwickelt? Berücksichtigt eine Kreuzkorrelation in Bezug auf lokale Berechnung / Speicher, Latenz und Bandbreitenvariabilität?

Aus der Sicht der Informatik halte ich es nicht für sinnvoll, ein allgemeines statistisches Modell für die Speicherzugriffszeit (Latenz) und die Speicherbandbreite zu erstellen.

Es ist sinnvoll, ein statistisches Modell für einen Algorithmus zu erstellen . Dies liegt daran, dass jeder Algorithmus ein bestimmtes Speicherzugriffsmuster aufweist. Die Speicherzugriffsmuster sind für die Cache-Hierarchie relevant. Beispielsweise nutzt ein Algorithmus mit hoher Datenlokalität Caches auf niedriger Ebene, die von sehr schnellen Speicherzugriffszeiten profitieren, während andere Algorithmen dies müssen Gehen Sie bis zum RAM (oder sogar zum Swap-Speicher) und haben Sie extrem langsame Zugriffszeiten.

Die Allzweckwerte werden aus Sicht der Architektur angegeben. Sie können Ihre Architektur überprüfen und die Zugriffszeit von einem bestimmten Kern zu einem bestimmten Speicherort suchen (sagen wir L3-Cache). Beachten Sie, dass es sich bei den aktuellen Architekturen um NUMA (Non Uniform Memory Access) handelt, was Ihre Arbeit etwas erschwert.