Löschen aller anstehenden Aufgaben in Sellerie / Kaninchen

Wie kann ich alle ausstehenden Aufgaben löschen, ohne die task_idfür jede Aufgabe zu kennen?

Aus den Dokumenten :

$ celery -A proj purge

oder

from proj.celery import app
app.control.purge()

(BEARBEITEN: Mit der aktuellen Methode aktualisiert.)

Für Sellerie 3.0+:

$ celery purge

So löschen Sie eine bestimmte Warteschlange:

$ celery -Q queue_name purge

Für Sellerie 2.x und 3.x:

Wenn Sie beispielsweise einen Worker mit dem Parameter -Q verwenden, um Warteschlangen zu definieren

celery worker -Q queue1,queue2,queue3

dann celery purgefunktioniert es nicht, da Sie die Warteschlangenparameter nicht an ihn übergeben können. Es wird nur die Standardwarteschlange gelöscht. Die Lösung besteht darin, Ihre Mitarbeiter mit folgenden --purgeParametern zu starten :

celery worker -Q queue1,queue2,queue3 --purge

Dadurch wird jedoch der Worker ausgeführt.

Eine andere Möglichkeit ist die Verwendung des Unterbefehls amqp von Sellerie

celery amqp queue.delete queue1
celery amqp queue.delete queue2
celery amqp queue.delete queue3

In Sellerie 3+:

CLI:

$ celery -A proj purge

Programmatisch:

>>> from proj.celery import app
>>> app.control.purge()

http://docs.celeryproject.org/en/latest/faq.html#how-do-i-purge-all-waiting-tasks

Ich habe festgestellt, dass celery purgedies für meine komplexere Selleriekonfiguration nicht funktioniert. Ich verwende mehrere benannte Warteschlangen für verschiedene Zwecke:

$ sudo rabbitmqctl list_queues -p celery name messages consumers
Listing queues ...  # Output sorted, whitespaced for readability
celery                                          0   2
celery@web01.celery.pidbox                      0   1
celery@web02.celery.pidbox                      0   1
apns                                            0   1
apns@web01.celery.pidbox                        0   1
analytics                                       1   1
analytics@web01.celery.pidbox                   0   1
bcast.361093f1-de68-46c5-adff-d49ea8f164c0      0   1
bcast.a53632b0-c8b8-46d9-bd59-364afe9998c1      0   1
celeryev.c27b070d-b07e-4e37-9dca-dbb45d03fd54   0   1
celeryev.c66a9bed-84bd-40b0-8fe7-4e4d0c002866   0   1
celeryev.b490f71a-be1a-4cd8-ae17-06a713cc2a99   0   1
celeryev.9d023165-ab4a-42cb-86f8-90294b80bd1e   0   1

Die erste Spalte ist der Warteschlangenname, die zweite die Anzahl der in der Warteschlange wartenden Nachrichten und die dritte die Anzahl der Listener für diese Warteschlange. Die Warteschlangen sind:

• Sellerie - Warteschlange für standardmäßige, idempotente Sellerie-Aufgaben
• apns - Warteschlange für Apple Push Notification Service-Aufgaben, nicht ganz so idempotent
• Analytics - Warteschlange für lang laufende nächtliche Analysen
• * .pidbox - Warteschlange für Worker-Befehle wie Herunterfahren und Zurücksetzen, einer pro Worker (2 Sellerie-Worker, ein Apns-Worker, ein Analytics-Worker)
• bcast. * - Broadcast-Warteschlangen zum Senden von Nachrichten an alle Mitarbeiter, die eine Warteschlange abhören (und nicht nur die ersten, die sie abrufen)
• celeryev. * - Sellerie-Ereigniswarteschlangen für die Berichterstellung von Aufgabenanalysen

Die Analyseaufgabe ist eine Brute-Force-Aufgabe, die bei kleinen Datenmengen hervorragend funktioniert hat. Die Verarbeitung dauert jetzt jedoch mehr als 24 Stunden. Gelegentlich geht etwas schief und es bleibt beim Warten auf die Datenbank hängen. Es muss neu geschrieben werden, aber bis dahin, wenn es stecken bleibt, töte ich die Aufgabe, entleere die Warteschlange und versuche es erneut. Ich erkenne "Stuckness", indem ich mir die Anzahl der Nachrichten für die Analytics-Warteschlange ansehe, die 0 (fertige Analytics) oder 1 (Warten auf das Ende der Analytics der letzten Nacht) sein sollte. 2 oder höher ist schlecht und ich bekomme eine E-Mail.

celery purge bietet an, Aufgaben aus einer der Broadcast-Warteschlangen zu löschen, und ich sehe keine Option zum Auswählen einer anderen benannten Warteschlange.

Hier ist mein Prozess:

$ sudo /etc/init.d/celeryd stop  # Wait for analytics task to be last one, Ctrl-C
$ ps -ef | grep analytics  # Get the PID of the worker, not the root PID reported by celery
$ sudo kill <PID>
$ sudo /etc/init.d/celeryd stop  # Confim dead
$ python manage.py celery amqp queue.purge analytics
$ sudo rabbitmqctl list_queues -p celery name messages consumers  # Confirm messages is 0
$ sudo /etc/init.d/celeryd start

In Sellerie 3+

http://docs.celeryproject.org/en/3.1/faq.html#how-do-i-purge-all-waiting-tasks

CLI

Benannte Warteschlange löschen:

 celery -A proj amqp queue.purge <queue name>

Konfigurierte Warteschlange löschen

celery -A proj purge

Ich habe Nachrichten gelöscht, aber es sind noch Nachrichten in der Warteschlange? Antwort: Aufgaben werden bestätigt (aus der Warteschlange entfernt), sobald sie tatsächlich ausgeführt werden. Nachdem der Mitarbeiter eine Aufgabe erhalten hat, dauert es einige Zeit, bis sie tatsächlich ausgeführt wird, insbesondere wenn bereits viele Aufgaben auf die Ausführung warten. Nicht bestätigte Nachrichten werden vom Worker beibehalten, bis die Verbindung zum Broker (AMQP-Server) geschlossen wird. Wenn diese Verbindung geschlossen wird (z. B. weil der Worker gestoppt wurde), werden die Aufgaben vom Broker an den nächsten verfügbaren Worker (oder an denselben Worker nach dem Neustart) erneut gesendet, um die Warteschlange für wartende Aufgaben ordnungsgemäß zu leeren müssen alle Arbeiter stoppen und dann die Aufgaben mit celery.control.purge () löschen.

Um die gesamte Warteschlange zu löschen, müssen die Mitarbeiter gestoppt werden.

Wenn Sie alle ausstehenden Aufgaben sowie die aktiven und reservierten Aufgaben entfernen möchten, um Sellerie vollständig zu stoppen, hat dies für mich funktioniert:

from proj.celery import app
from celery.task.control import inspect, revoke

# remove pending tasks
app.control.purge()

# remove active tasks
i = inspect()
jobs = i.active()
for hostname in jobs:
    tasks = jobs[hostname]
    for task in tasks:
        revoke(task['id'], terminate=True)

# remove reserved tasks
jobs = i.reserved()
for hostname in jobs:
    tasks = jobs[hostname]
    for task in tasks:
        revoke(task['id'], terminate=True)

1. Um die Warteschlange ordnungsgemäß von wartenden Aufgaben zu leeren, müssen Sie alle Mitarbeiter stoppen ( http://celery.readthedocs.io/en/latest/faq.html#i-ve-purged-messages-but-there-are- Standbildnachrichten in der Warteschlange ):

$ sudo rabbitmqctl stop

oder (falls RabbitMQ / Message Broker vom Supervisor verwaltet wird):

$ sudo supervisorctl stop all

2. ... und löschen Sie dann die Aufgaben aus einer bestimmten Warteschlange:

$ cd <source_dir>
$ celery amqp queue.purge <queue name>

3. Starten Sie RabbitMQ:

$ sudo rabbitmqctl start

oder (falls RabbitMQ vom Supervisor verwaltet wird):

$ sudo supervisorctl start all

Sellerie 4+ Befehl zum Löschen von Sellerie zum Löschen aller konfigurierten Aufgabenwarteschlangen

celery -A *APPNAME* purge

programmatisch:

from proj.celery import app
app.control.purge()

Alle anstehenden Aufgaben werden gelöscht. Referenz: celerydoc