Als «directed-acyclic-graphs» getaggte Fragen

1
Es wird versucht, dynamische Unter-Tags aus dem übergeordneten Tag basierend auf einem Array von Dateinamen zu erstellen
Ich versuche, s3-Dateien mithilfe des Luftstroms aus einem "nicht löschenden" Bucket (dh ich kann die Dateien nicht löschen) in GCS zu verschieben. Ich kann nicht garantieren, dass jeden Tag neue Dateien vorhanden sind, aber ich muss jeden Tag nach neuen Dateien suchen. Mein Problem ist die dynamische Erstellung von Subtags. …
1
Wie kann eine Airflow-Task nur ausgelöst werden, wenn neue Partitionen / Daten mit DAG in Python in der AWS-Athena-Tabelle verfügbar sind?
Ich habe ein Szenario wie das folgende: Lösen Sie a Task 1und Task 2nur aus, wenn neue Daten für sie in der Quelltabelle (Athena) verfügbar sind. Der Auslöser für Task1 und Task2 sollte bei einer neuen Datenparition an einem Tag erfolgen. Trigger Task 3erst nach Abschluss von Task 1undTask 2 …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.