Als «airflow-scheduler» getaggte Fragen

Der Airflow Scheduler kann nicht mit kubernetes executor gestartet werden

Ich verwende https://github.com/helm/charts/tree/master/stable/airflow Helmdiagramm und erstelle ein puckle/docker-airflowImage der Version 1.10.8 mit darauf installierten Kubernetes und verwende dieses Bild im Helmdiagramm File "/usr/local/bin/airflow", line 37, in <module> args.func(args)...

Wie kann eine Airflow-Task nur ausgelöst werden, wenn neue Partitionen / Daten mit DAG in Python in der AWS-Athena-Tabelle verfügbar sind?

Ich habe ein Szenario wie das folgende: Lösen Sie a Task 1und Task 2nur aus, wenn neue Daten für sie in der Quelltabelle (Athena) verfügbar sind. Der Auslöser für Task1 und Task2 sollte bei einer neuen Datenparition an einem Tag erfolgen. Trigger Task 3erst nach Abschluss von Task 1undTask 2 Löse...