Als «airflow-scheduler» getaggte Fragen

1
Der Airflow Scheduler kann nicht mit kubernetes executor gestartet werden
Ich verwende https://github.com/helm/charts/tree/master/stable/airflow Helmdiagramm und erstelle ein puckle/docker-airflowImage der Version 1.10.8 mit darauf installierten Kubernetes und verwende dieses Bild im Helmdiagramm File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in __init__ …

1
Wie kann eine Airflow-Task nur ausgelöst werden, wenn neue Partitionen / Daten mit DAG in Python in der AWS-Athena-Tabelle verfügbar sind?
Ich habe ein Szenario wie das folgende: Lösen Sie a Task 1und Task 2nur aus, wenn neue Daten für sie in der Quelltabelle (Athena) verfügbar sind. Der Auslöser für Task1 und Task2 sollte bei einer neuen Datenparition an einem Tag erfolgen. Trigger Task 3erst nach Abschluss von Task 1undTask 2 …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.