Вопросы с тегом «airflow»

Проблема Есть ли способ в Airflow создать рабочий процесс, при котором количество задач B. * неизвестно до завершения задачи A? Я просмотрел вложенные теги, но похоже, что он может работать только со статическим набором задач, которые должны быть определены при создании Dag. Сработают ли кинжальные триггеры? И если да, то …

99 python  workflow  airflow 

после новой установки pip install apache-airflowвсе попытки запуска airflow заканчиваются ошибкой импорта python: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from flask_wtf.csrf import CSRFProtect File …

19 python  flask  airflow  werkzeug 

Установка выполнена правильно. БД запущена правильно и при попытке запустить веб-сервер выдает следующую ошибку. Я переустанавливал все, но он все еще не работает. Я буду признателен, если кто-нибудь поможет мне. Консольный вывод: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ …

16 airflow 

Я использую https://github.com/helm/charts/tree/master/stable/airflow helm chart и создаю puckle/docker-airflowобраз v1.10.8 с установленным на нем kubernetes и использую это изображение в helm chart, но я продолжаю получать File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

Закрыто. Этот вопрос не воспроизводится или был вызван опечатками . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме переполнения стека. Закрыто 3 месяца назад . Я получаю ошибку выше, когда я пытаюсь воздушный поток-версия и воздушный поток initdb File "/home/ravi/sandbox/bin/airflow", line …

12 python  airflow 

Я пытаюсь переместить файлы s3 из «не удаляющего» контейнера (то есть я не могу удалить файлы) в GCS, используя поток воздуха. Я не могу гарантировать, что новые файлы будут там каждый день, но я должен проверять новые файлы каждый день. Моя проблема заключается в динамическом создании subdags. Если есть файлы …

10 python  airflow  directed-acyclic-graphs 

У меня есть scenerio как ниже: Триггер а Task 1и Task 2только тогда, когда для них доступны новые данные в исходной таблице (Афина). Триггер для Task1 и Task2 должен произойти при новом разделении данных за день. Триггер Task 3только по завершении Task 1иTask 2 Запустить Task 4только завершениеTask 3 Мой …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler