Problem Gibt es in Airflow eine Möglichkeit, einen Workflow so zu erstellen, dass die Anzahl der Aufgaben B * bis zum Abschluss von Aufgabe A unbekannt ist? Ich habe Subdags betrachtet, aber es sieht so aus, als ob es nur mit einer statischen Reihe von Aufgaben funktionieren kann, die bei der...
Ich habe den Airflow-Webserver gestartet und einige Dags geplant. Ich kann die Dags auf der Web-GUI sehen. Wie kann ich eine bestimmte DAG aus der Ausführung löschen und in der Web-GUI anzeigen? Gibt es dafür einen Airflow CLI-Befehl? Ich habe mich umgesehen, konnte aber keine Antwort auf eine...
Nach einer Neuinstallation mit pip install apache-airflowwerden alle Versuche, den Luftstrom auszuführen, mit einem Python-Importfehler beendet: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File...
Installation ordnungsgemäß durchgeführt. db wurde ordnungsgemäß gestartet und beim Versuch, den Webserver zu starten, wird der folgende Fehler angezeigt. Ich habe alles neu installiert, aber es funktioniert immer noch nicht. Ich werde es begrüßen, wenn mir jemand hilft. Konsolenausgabe:...
Geschlossen. Diese Frage ist nicht reproduzierbar oder wurde durch Tippfehler verursacht . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Stack - Überlauf. Geschlossen vor 3...
Ich verwende https://github.com/helm/charts/tree/master/stable/airflow Helmdiagramm und erstelle ein puckle/docker-airflowImage der Version 1.10.8 mit darauf installierten Kubernetes und verwende dieses Bild im Helmdiagramm File "/usr/local/bin/airflow", line 37, in <module> args.func(args)...
Ich versuche, s3-Dateien mithilfe des Luftstroms aus einem "nicht löschenden" Bucket (dh ich kann die Dateien nicht löschen) in GCS zu verschieben. Ich kann nicht garantieren, dass jeden Tag neue Dateien vorhanden sind, aber ich muss jeden Tag nach neuen Dateien suchen. Mein Problem ist die...
Ich habe ein Szenario wie das folgende: Lösen Sie a Task 1und Task 2nur aus, wenn neue Daten für sie in der Quelltabelle (Athena) verfügbar sind. Der Auslöser für Task1 und Task2 sollte bei einer neuen Datenparition an einem Tag erfolgen. Trigger Task 3erst nach Abschluss von Task 1undTask 2 Löse...