Ich suche eine Job-Scheduling-Software für den folgenden Fall:
Es gibt ungefähr 20 Linux-basierte Rechenknoten und ein Speichersystem, das die Daten bereitstellt. Die Daten sind Dateien mit 2-3 GB Simulationsdaten. Die Simulation erfolgt in Batch-Prozessen. Für jeden Datensatz sind 3-4 Chargen mit unterschiedlicher Priorität aufzurufen. Die Ausgabe jedes Prozesses hängt nicht von der Ausgabe eines anderen ab. Aufgrund der Größe der Datasets und des Dateizugriffsverhaltens des Prozesses ist es sinnvoll, die Datasets vor dem Start der Berechnung in das lokale Dateisystem des Rechenknotens zu kopieren. Daher ist es auch sinnvoll, die 3-4 Stapel, die auf denselben Datensatz zugreifen, auf einem Knoten auszuführen. Der Job sollte auch automatisch für jeden neuen Datensatz erstellt werden, der am Speichersystem ankommt.