Was sind die Richtlinien für die Durchführung von Computerexperimenten?

Physik, Biologie, Chemie usw. haben unterschiedliche Regeln für die Durchführung von Experimenten: Welche Ereignisse werden als relevant angesehen, wie kann eine Kontamination der Proben vermieden werden, wie kann ein Reproduktionsprozess erstellt und repariert werden und so weiter.

Welche Standards, Protokolle und Best Practices gewährleisten die Genauigkeit und Reproduzierbarkeit von numerischen Experimenten?

benchmarking reproducibility experiment

— Homocomputeris
quelle

Ich bin noch nie auf eine Reihe von Best - Practice - Regeln gestoßen, aber basierend auf der Arbeit mit dem, was veröffentlicht wird, würde ich sagen, dass die derzeitige Praxis selbst aus Gründen der Reproduzierbarkeit erhebliche Probleme aufweist: Die Ergebnisse können von der Hardwareplattform, dem Betriebssystem (und dem Betriebssystem) beeinflusst werden Version), Compiler (und Version), Kompilierungsoptionen und Anwendungskonfigurationseinstellungen. Selten finde ich dies ausreichend detailliert dokumentiert.

— Njuffa

Über das Entwerfen, Ausführen und Berichten der Ergebnisse von Computerexperimenten wurde viel geschrieben. Dies hat offensichtliche Zusammenhänge mit Open-Source-Software und der breiteren "Open-Science" -Bewegung. Ein weiteres wichtiges Problem ist der Unterschied zwischen "Mein Code ist schneller als Ihr Code" und "Forschung", der uns hilft, die Eigenschaften von Algorithmen besser zu verstehen.

Einige Referenzen zu Computerexperimenten und Tests, die Sie sich ansehen möchten, sind:

Sarg, Marie und Matthew J. Saltzman. 2000. „ Statistische Analyse rechnergestützter Tests von Algorithmen und Heuristiken “. INFORMS Journal on Computing 12 (1): 24–44.

Crowder, Harlan, Ron S. Dembo und John M. Mulvey. 1979. “ Über das Berichten von Computerexperimenten mit mathematischer Software .” ACM-Transaktionen mit mathematischer Software (TOMS) 5 (2): 193–203.

Feitelson, Dror G. 2006. „ Experimentelle Informatik: Die Notwendigkeit eines kulturellen Wandels .“

Hooker, John N. 1995. „ Heuristik testen: Wir haben alles falsch .“ Journal of Heuristics 1 (1): 33–42.

McGeoch, Catherine C. 2012. Ein Leitfaden für experimentelle Algorithmen. Cambridge University Press.

— Brian Borchers
quelle

Ich verweise auch auf Tools wie Sumatra ( pypi.org/project/Sumatra ), die Tools zur Verfolgung von Computerexperimenten zur Unterstützung reproduzierbarer Forschung bereitstellen sollen. Siehe auch hier datascience.stackexchange.com/questions/758

— GertVdE