Существуют ли консольные команды для просмотра содержимого очереди и очистки очереди в Sidekiq?


97

Я привык использовать метод delayed_jobs для входа в консоль, чтобы увидеть, что находится в очереди, и простоту очистки очереди при необходимости. Есть ли в Sidekiq для этого похожие команды? Спасибо!


1
как упоминалось другими, выбранный ниже ответ устарел.
эдс

Ответы:


90

Я никогда не использовал Sidekiq, поэтому возможно, что есть методы только для просмотра заданий в очереди, но на самом деле они будут просто оболочкой для команд Redis, поскольку в основном все Sidekiq (и Resque):

# See workers
Sidekiq::Client.registered_workers

# See queues
Sidekiq::Client.registered_queues

# See all jobs for one queue
Sidekiq.redis { |r| r.lrange "queue:app_queue", 0, -1 }

# See all jobs in all queues
Sidekiq::Client.registered_queues.each do |q|
  Sidekiq.redis { |r| r.lrange "queue:#{q}", 0, -1 }
end

# Remove a queue and all of its jobs
Sidekiq.redis do |r| 
  r.srem "queues", "app_queue"
  r.del  "queue:app_queue"
end

К сожалению, удалить конкретное задание немного сложнее, так как вам придется скопировать его точное значение:

# Remove a specific job from a queue
Sidekiq.redis { |r| r.lrem "queue:app_queue", -1, "the payload string stored in Redis" }

Вы можете сделать все это еще проще с помощью redis-cli:

$ redis-cli
> select 0 # (or whichever namespace Sidekiq is using)
> keys * # (just to get an idea of what you're working with)
> smembers queues
> lrange queues:app_queue 0 -1
> lrem queues:app_queue -1 "payload"

Вы видели хороший способ импорта / переноса запланированных заданий восстановления в формат sidekiq? Установка пространства имен sidekiq на «resque», похоже, не выполняет запланированные задания, насколько я могу судить. Спасибо!
Брайан Армстронг,

31
Некоторые из представленных здесь решений устарели.
Питер Вагенет

@BrianArmstrong Sidekiq.redis {| r | r.zrange ("schedule", 0, -1, {withscores: true})} работал у меня со ссылкой на stackoverflow.com/questions/16009639/…
Пол

2
Как указал Вагенет выше, эти примеры устарели; как mkirk указал ниже, последние документы с примерами находятся в вики: github.com/mperham/sidekiq/wiki/API
odigity

1
Sidekiq::Client.registered_queues был заменен на Sidekiq::Queue.allи Sidekiq::Client.registered_workersна Sidekiq::Workers.new, см .: github.com/mperham/sidekiq/blob/…
Мартин Свобода

136

Есть эргономичный API для просмотра и управления очередями. .

По умолчанию это не требуется.

require 'sidekiq/api'

Вот выдержка:

# get a handle to the default queue
default_queue = Sidekiq::Queue.new 

# get a handle to the mailer queue
mailer_queue = Sidekiq::Queue.new("mailer") 

# How many jobs are in the default queue?
default_queue.size # => 1001

# How many jobs are in the mailer queue?
mailer_queue.size # => 50

#Deletes all Jobs in a Queue, by removing the queue.    
default_queue.clear

Вы также можете получить некоторую сводную статистику.

stats = Sidekiq::Stats.new

# Get the number of jobs that have been processed.
stats.processed # => 100

# Get the number of jobs that have failed.    
stats.failed # => 3

# Get the queues with name and number enqueued.
stats.queues # => { "default" => 1001, "email" => 50 }

#Gets the number of jobs enqueued in all queues (does NOT include retries and scheduled jobs).
stats.enqueued # => 1051 

9
Этот подход работает прямо сейчас (август 2016 г.). Принятый ответ устарел на ~ 2013 год.
Ян Климо

10

если есть какое-либо запланированное задание. Вы можете удалить все задания, используя следующую команду:

Sidekiq::ScheduledSet.new.clear

если есть очереди, в которых вы хотите удалить все задания, вы можете использовать следующую команду:

  Sidekiq::Queue.new.clear

Задания повторных попыток также можно удалить с помощью следующей команды:

Sidekiq::RetrySet.new.clear

Здесь есть дополнительная информация по следующей ссылке, вы можете оформить заказ: https://github.com/mperham/sidekiq/wiki/API



2

Обходной путь - использовать модуль тестирования (требуется «sidekiq / testing») и слить рабочую среду (MyWorker.drain).


2

В очереди по умолчанию были повешенные «рабочие», и я мог видеть их через веб-интерфейс. Но они не были доступны из консоли, если я использовал Sidekiq :: Queue.new.size

irb(main):002:0> Sidekiq::Queue.new.size
2014-03-04T14:37:43Z 17256 TID-oujb9c974 INFO: Sidekiq client with redis options {:namespace=>"sidekiq_staging"}
=> 0

Используя redis-cli, я смог их найти

redis 127.0.0.1:6379> keys *
    1) "sidekiq_staging:worker:ip-xxx-xxx-xxx-xxx:7635c39a29d7b255b564970bea51c026-69853672483440:default"
    2) "sidekiq_staging:worker:ip-xxx-xxx-xxx-xxx:0cf585f5e93e1850eee1ae4613a08e45-70328697677500:default:started"
    3) "sidekiq_staging:worker:ip-xxx-xxx-xxx-xxx:7635c39a29d7b255b564970bea51c026-69853672320140:default:started"
    ...

Решение было:

irb(main):003:0>  Sidekiq.redis { |r| r.del "workers", 0, -1 }
=> 1

Также в Sidekiq v3 есть команда

Sidekiq::Workers.new.prune

Но почему-то у меня в тот день не получилось


2

И если вы хотите очистить очередь повторных попыток sidekiq, это так: Sidekiq::RetrySet.new.clear


2
$ redis-cli
> select 0 # (or whichever namespace Sidekiq is using)
> keys * # (just to get an idea of what you're working with)
> smembers queues
> lrange queue:queue_name 0 -1 # (queue_name must be your relevant queue)
> lrem queue:queue_name -1 "payload"

9
Никогда не запускайте keys *производственную среду, если вы не используете этот Redis только для sidekiq. Особенно не запускайте его, если у вас большой набор данных (кеш и т. Д.). Redis является однопоточным и keys *блокируется - это может привести к простоям в несколько минут для больших наборов данных (несколько гигабайт).
timurb

1

Задача Rake для очистки всех очередей sidekiq:

namespace :sidekiq do
  desc 'Clear sidekiq queue'
  task clear: :environment do
    require 'sidekiq/api'
    Sidekiq::Queue.all.each(&:clear)
  end
end

Использование:

rake sidekiq:clear
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.