Как проверить статус задачи в Celery?

Как проверить, выполняется ли задача в сельдерее (в частности, я использую celery-django)?

Я прочитал документацию и погуглил, но не вижу вызова вроде:

my_example_task.state() == RUNNING

Мой вариант использования заключается в том, что у меня есть внешняя (java) служба для перекодирования. Когда я отправляю документ для перекодировки, я хочу проверить, запущена ли задача, которая запускает эту службу, и, если нет, запустить ее (повторно).

Я использую текущие стабильные версии - кажется, 2.4.

Верните task_id (который дается из .delay ()) и затем спросите экземпляр сельдерея о состоянии:

x = method.delay(1,2)
print x.task_id

При запросе получите новый AsyncResult, используя этот task_id:

from celery.result import AsyncResult
res = AsyncResult("your-task-id")
res.ready()

Создание AsyncResultобъекта из идентификатора задачи - это способ, рекомендованный в FAQ для получения статуса задачи, когда единственное, что у вас есть, - это идентификатор задачи.

Однако, начиная с Celery 3.x, есть серьезные предостережения, которые могут укусить людей, если они не обратят на них внимание. Это действительно зависит от конкретного сценария использования.

По умолчанию Celery не записывает «запущенное» состояние.

Чтобы Celery записал, что задача выполняется, необходимо установить task_track_startedзначение True. Вот простая задача, которая проверяет это:

@app.task(bind=True)
def test(self):
    print self.AsyncResult(self.request.id).state

Когда task_track_startedесть False(значение по умолчанию), состояние отображается, PENDINGдаже если задача запущена. Если вы установите task_track_startedна True, то состояние будет STARTED.

Состояние PENDINGозначает «я не знаю».

С AsyncResultсостоянием PENDINGне означает ничего, кроме того, что Celery не знает статус задачи. Это могло быть по любому количеству причин.

Во-первых, AsyncResultмогут быть созданы с недопустимыми идентификаторами задач. Такие «задачи» будут считаться отложенными для Celery:

>>> task.AsyncResult("invalid").status
'PENDING'

Итак, никто не будет скармливать явно недействительные идентификаторы AsyncResult. Достаточно справедливо, но он также имеет эффект, AsyncResultкоторый также учитывает задачу, которая успешно выполнена, но о которой Celery забыл PENDING. Опять же, в некоторых сценариях использования это может быть проблемой. Частично проблема зависит от того, как Celery настроен для хранения результатов задач, потому что это зависит от доступности «надгробий» в серверной части результатов. («Надгробия» - это термин, который используется в документации по сельдерею для фрагментов данных, которые фиксируют, как закончилась задача.) Использование AsyncResultвообще не будет работать, если оно task_ignore_resultесть True. Более неприятная проблема заключается в том, что Celery по умолчанию истекает срок действия надгробий. Вresult_expiresнастройка по умолчанию установлена ​​на 24 часа. Итак, если вы запускаете задачу и записываете идентификатор в долгосрочное хранилище, и более 24 часов спустя вы создаете AsyncResultс ним задачу, статус будет PENDING.

Все «настоящие задачи» запускаются в PENDINGштате. Таким образом, PENDINGвыполнение задачи может означать, что задача была запрошена, но никогда не продвинулась дальше (по какой-либо причине). Или это может означать, что задача выполнена, но Celery забыл о своем состоянии.

Ой! AsyncResultу меня не сработает. Что еще я могу сделать?

Я предпочитаю отслеживать цели, а не сами задачи . Я храню некоторую информацию о задачах, но это второстепенно по отношению к отслеживанию целей. Цели хранятся в хранилище независимо от сельдерея. Когда запрос должен выполнить вычисление, зависит от достигнутой цели, он проверяет, была ли цель уже достигнута, если да, то он использует эту кешированную цель, в противном случае запускает задачу, которая повлияет на цель, и отправляет ее в клиент, сделавший HTTP-запрос, является ответом, который указывает, что он должен дождаться результата.

Имена переменных и гиперссылки выше предназначены для Celery 4.x. В 3.x соответствующие переменные и гиперссылки: CELERY_TRACK_STARTED, CELERY_IGNORE_RESULT, CELERY_TASK_RESULT_EXPIRES.

Каждый Taskобъект имеет .requestсвойство, которое содержит его AsyncRequestобъект. Соответственно, следующая строка показывает состояние Задачи task:

task.AsyncResult(task.request.id).state

Вы также можете создавать собственные состояния и обновлять выполнение задач, связанных с выполнением задач. Этот пример взят из документации:

@app.task(bind=True)
def upload_files(self, filenames):
    for i, file in enumerate(filenames):
        if not self.request.called_directly:
            self.update_state(state='PROGRESS',
                meta={'current': i, 'total': len(filenames)})

http://celery.readthedocs.org/en/latest/userguide/tasks.html#custom-states

Старый вопрос, но недавно я столкнулся с этой проблемой.

Если вы пытаетесь получить task_id, вы можете сделать это так:

import celery
from celery_app import add
from celery import uuid

task_id = uuid()
result = add.apply_async((2, 2), task_id=task_id)

Теперь вы точно знаете, что такое task_id, и теперь можете использовать его для получения AsyncResult:

# grab the AsyncResult 
result = celery.result.AsyncResult(task_id)

# print the task id
print result.task_id
09dad9cf-c9fa-4aee-933f-ff54dae39bdf

# print the AsyncResult's status
print result.status
SUCCESS

# print the result returned 
print result.result
4

Просто используйте этот API из FAQ по сельдерею

result = app.AsyncResult(task_id)

Это прекрасно работает.

Ответ 2020 года:

#### tasks.py
@celery.task()
def mytask(arg1):
    print(arg1)

#### blueprint.py
@bp.route("/args/arg1=<arg1>")
def sleeper(arg1):
    process = mytask.apply_async(args=(arg1,)) #mytask.delay(arg1)
    state = process.state
    return f"Thanks for your patience, your job {process.task_id} \
             is being processed. Status {state}"

Пытаться:

task.AsyncResult(task.request.id).state

это предоставит статус задачи Celery. Если задача Celery уже находится в состоянии FAILURE, она выдаст исключение:

raised unexpected: KeyError('exc_type',)

для простых задач мы можем использовать http://flower.readthedocs.io/en/latest/screenshots.html и http://policystat.github.io/jobtastic/ для мониторинга.

а для сложных задач, скажем, задача, связанная с множеством других модулей. Мы рекомендуем вручную записывать ход выполнения и сообщения по конкретной задаче.

Я нашел полезную информацию в

Руководство для работников проекта сельдерея, инспектирующие рабочих

В моем случае я проверяю, работает ли Celery.

inspect_workers = task.app.control.inspect()
if inspect_workers.registered() is None:
    state = 'FAILURE'
else:
    state = str(task.state) 

Вы можете поиграть с inspect, чтобы понять свои потребности.

• Сначала ， в приложении для сельдерея ：

vi my_celery_apps / app1.py

app = Celery(worker_name)

• а затем перейдите в файл задачи ， импортируйте приложение из вашего модуля приложения celery.

vi задачи / task1.py

from my_celery_apps.app1 import app

app.AsyncResult(taskid)

try:
   if task.state.lower() != "success":
        return
except:
    """ do something """

Помимо вышеперечисленного Программный подход Использование цветочного статуса задачи можно легко увидеть.

Мониторинг в реальном времени с использованием Celery Events. Flower - это веб-инструмент для мониторинга и управления кластерами сельдерея.

1. Ход выполнения задачи и история
2. Возможность отображать детали задачи (аргументы, время начала, время выполнения и т. Д.)
3. Графики и статистика

Официальный документ: Цветок - инструмент для мониторинга сельдерея

Установка:

$ pip install flower

Применение:

http://localhost:5555

res = method.delay()
    
print(f"id={res.id}, state={res.state}, status={res.status} ")

print(res.get())