Wo kann man gute Datensätze / Testprobleme zum Testen von Algorithmen / Routinen erhalten?

41

Bei der Bewertung der Qualität einer Software, die Sie verwenden möchten (unabhängig davon, ob es sich um eine von Ihnen geschriebene Software oder um ein in Dosen gepacktes Paket handelt), ist es häufig eine gute Idee, zu überprüfen, wie gut sie mit Standarddatensätzen oder -problemen funktioniert. Wo kann man diese Tests zur Überprüfung von Rechenroutinen erhalten?

(Eine Website / ein Buch pro Antwort, bitte.)

testing data-sets

— JM
quelle

Ich wollte, dass dies ein Community-Wiki-Beitrag ist, und habe ihn daher für die Konvertierung markiert.

— JM

3

Ist diese Frage nicht zu weit gefasst, dh hängt sie von den Algorithmen / der Art des Problems ab, für dessen Lösung diese Software verwendet wird?

— Andre Holzner

Ich wollte wirklich, dass diese Frage das Community- Wiki @Andre ist (als "große Liste" von Ressourcen). Ich hatte es zur Konvertierung vorgemerkt, aber ich weiß nicht, warum es nicht konvertiert wurde.

— JM

@JM Ich habe es konvertiert.

— David Ketcheson

15

Wenn Sie an einer Analyse von spärlichen Matrizen interessiert sind, würde ich auch die spärliche Matrixsammlung der Universität von Florida und den Matrixmarkt von Davis berücksichtigen .

— Aron Ahmadia
quelle

1

Es gibt auch Matrix Market math.nist.gov/MatrixMarket

— stali

13

Die Methode der hergestellten Lösungen ist ein Standard zum Testen von PDEs und anderen Lösungsmitteln. Die meisten symbolischen Algebrasysteme verfügen über Funktionen zum Generieren von Code. Dies ist nützlich, um hergestellte Lösungen zu erstellen. SymPy und Maple haben dazu unter anderem die Funktion ccode.

— aterrel
quelle

10

Ein Test-Set für IVPs (Initial Value Problems für ODE-Löser) wird derzeit von Personen der Universität Bari (Italien) gepflegt, die es von CWI Amsterdam übernommen haben.

— Jitse Niesen
quelle

1

Einige zusätzliche Test-Sets für IVPs finden Sie in dieser Antwort von JM auf Math.StackExchange: math.stackexchange.com/a/59398

— David Ketcheson,

9

Zum Testen von Graph Partitioning-Algorithmen gibt es das Graph Partitioning Archive von Walshaw .

— Aron Ahmadia
quelle

8

Beim rechnergestützten Elektromagnetismus gibt es eine Reihe bekannter (oder wegen einiger Schwierigkeiten berüchtigter) Testprobleme: das Testen elektromagnetischer Analysemethoden (TEAM) .

Einige von ihnen benötigen wirklich hochmoderne numerische Techniken, um die korrekten Simulationsergebnisse mit den experimentellen Daten in Einklang zu bringen. Zum Beispiel das Leiter-Spulen-Problem .

Ein weiterer Satz von Testproblemen für Maxwell-Gleichungen wird von Dauge: Benchmark-Berechnungen für Maxwell-Gleichungen zur Approximation hoch singulärer Lösungen zusammengestellt . Der im berühmten (oder berüchtigten) Fichera-Würfel:

Fichera

$\phi\in H^{1+\epsilon}$ $\mathbf{E} = -\nabla \phi$

Δ u = 0, where u = r^{α} \sin (α θ) .

$\Delta u= 0,\quad \text{where }\;u = r^{\alpha}\sin(\alpha \theta).$

— Shuhao Cao
quelle

7

Wenn Sie an Benchmarking-Algorithmen für molekulare Strukturen interessiert sind, enthält die Pubchem-Datenbank eine große Sammlung überwiegend organischer Moleküle. Dies kann nützlich sein, um Vorhersagen molekularer Eigenschaften zu vergleichen, die mit verschiedenen Modellen / Programmen erhalten wurden. Die Site bietet mehrere Möglichkeiten zum Herunterladen großer Mengen von Molekülen, die einige vordefinierte Kriterien erfüllen (z. B. chemische Zusammensetzung).

— Toon Verstraelen
quelle

7

Arnold Neumaier unterhält eine Reihe von Testproblemen für die uneingeschränkte und eingeschränkte Optimierung (nichtlineare Programmierung). In dieser Sammlung sind die Standardtestprobleme für die uneingeschränkte Optimierung aufgrund von Moré, Garbow und Hillstrom enthalten.

— JM
quelle

7

Die CUTEr -Website aktualisiert den auf der Arnold Neumaier-Website erwähnten CUTE- Testsatz mit einigen zusätzlichen Problemen für die Optimierung und für lineare Löser. Darüber hinaus werden Softwaretools zum Testen und Aktualisieren von linearen Algebra- und Optimierungslösern bereitgestellt.

— Geoff Oxberry
quelle

7

Athenas Tests, wenn Sie hyperbolische Erhaltungsgesetze lösen.

— Andreas Klöckner
quelle

6

Wir verwenden Wetterdatensätze in unserer Gebäudeenergiesimulationssoftware. Für die USA bestehen die Datensätze aus Wetterbeobachtungen, die (normalerweise an Flughäfen) in den letzten 20 Jahren stündlich durchgeführt wurden.

Datensätze zum Download zur Verfügung .
Handbuch zur Beschreibung des Dateiformats .

— Tangurena
quelle

6

Zum Testen statistischer Algorithmen gibt es ein Handbuch für kleine Datensätze von DJ Hand, F. Daly, K. McConway, D. Lunn und E. Ostrowski. Einige dieser Datensätze können hier heruntergeladen werden .

— JM
quelle

4

Zum Testen von multivariaten statistischen Analysen und Algorithmen für maschinelles Lernen gibt es das UCI-Dataset-Repository unter http://www.ics.uci.edu/~mlearn/.

— Sam Roberts
quelle

4

Die Website von Hans Mittelman ist eine hervorragende Quelle für die Navigation durch die aktuellen Softwareoptionen bei der numerischen Optimierung. Er enthält seine eigenen Benchmarks sowie Links zu anderen Benchmarks für Testprobleme bei der Optimierung .

— Aron Ahmadia
quelle

3

Alan Genz schlug im Artikel Testen mehrdimensionaler Integrationsroutinen eine Testsuite von Funktionen vor . Ich kann keine Online-Version dieses Papiers finden, aber Verweise darauf finden sich in den Papieren über die CUBA-Bibliothek .

— dls
quelle

3

Hier finden Sie eine Sammlung von Referenz-Optimierungsproblemen mit PDE-Einschränkungen, die Roland Herzog von der TU-Chemnitz gepflegt hat .

— Andrew T. Barker
quelle

2

Gute Software muss getestet worden sein und sollte angeben, wie die Autoren getestet haben, und entweder die Testdatensätze selbst bereitstellen (z. B. in Form von Regressionstests) oder zumindest Links zu den Daten bereitstellen, mit denen sie getestet wurden.

— Wolfgang Bangerth
quelle

Hört hört; siehe Reproduzierbarkeit ff. und Reproducible-Research-and-IPython-Notebooks .

— Denis

2

Wenn Sie nach großen Grafiken oder Netzwerkdaten zum Testen suchen. Das Stanford Network Analysis Project (SNAP) verfügt über viele große Diagrammdatensätze in der Regel in Form einer anonymisierten Adjazenzliste. Einige ihrer Optionen umfassen:

Daten

Soziale Netzwerke : Facebook, Gplus, Twitter, Bitcoin usw.
Zitationsnetzwerke : Knoten repräsentieren Papiere, Kanten sind Zitate.
Web Graphen : Knoten repräsentieren wedbpages, Kanten sind Hyperlinks.
Straßennetze : Knoten stellen Kreuzungen dar, Kanten sind Straßen, die Kreuzungen verbinden.
Vorzeichenbehaftete Netzwerke : positive und negative Flankengewichte.
Zeitliche Netzwerke : Kanten haben Zeitstempel.
Viele, viele, andere ...

Eigenschaften von Daten

Anzahl der Kanten: von ~ 10 bis ~ 400 Millionen
Anzahl der Knoten: von ~ 10 bis ~ 100 Millionen
Kantentypen: gerichtet, ungerichtet, gewichtet, ungewichtet, signiert und nicht signiert.
Netzwerktypen: gerichtet, ungerichtet, zweiteilig, multigraphisch, zeitlich, beschriftet.

Grundwahrheitsstatistiken für die Datensätze:

Anzahl der Knoten
Anzahl der Kanten
Anzahl der Knoten in der größten schwach verbundenen Komponente
Anzahl der Kanten in der größten schwach verbundenen Komponente
Anzahl der Knoten in der größten stark verbundenen Komponente
Anzahl der Kanten in der größten stark verbundenen Komponente
Durchschnittlicher Clusterkoeffizient
Anzahl der Dreiecke
Bruch von geschlossenen Dreiecken
Durchmesser (längster kürzester Weg)
90-Perzentil effektiver Durchmesser

Werkzeuge

SNAP-Tool für C ++ : Ein Allzweck-Tool mit hoher Leistung für die Analyse und Bearbeitung großer Netzwerke.
SNAP-Tool für Python

— Ryan
quelle

@JM kein Problem! Ich habe vor einiger Zeit einige ihrer Social-Net-Datensätze für ein Projekt verwendet und bin dann auf diesen Stapelaustausch gestoßen und dachte, dass er hier hilfreich sein könnte.

— Ryan

-3

Daten sind einfach; Die API, um es zu bekommen, kann schwierig sein. Ich empfehle Quandl . Diese Site verfügt über mehr als 10 Millionen öffentlich verfügbare Datensätze, auf die über eine einfache, REST-vollständige API zugegriffen werden kann. Alle Daten werden entweder in CSV oder JSON zurückgegeben. Wenn die Programmierung nicht zu Ihren Stärken gehört, können Sie die Daten auf einfache Weise in Excel übertragen. R-, Python- und Ruby-Programmierer sind mit nativen Bibliotheken genau richtig.

— Brian Risk
quelle

1

Willkommen bei Scicomp! Ich glaube nicht, dass dies die Art von Daten ist, um die es in der Frage geht. Zum Testen von Algorithmen benötigen Sie nicht nur einen Datensatz, sondern auch ein entsprechendes bekanntes Ergebnis (abhängig vom Problem / Algorithmus), mit dem Sie Ihre Ergebnisse vergleichen können.

— Christian Clason

Vielen Dank, @ChristianClason. Ich verstehe was du meinst. Wenn es sich bei der Software beispielsweise um eine lineare Regression handelt, ist der Autor an den Datensätzen sowie an einer Reihe überprüfter Analyseergebnisse interessiert, um zu testen, ob das Paket für die lineare Regression ordnungsgemäß funktioniert.

— Brian Risk