Wie überprüfe ich den Aufgabenstatus in Sellerie?

Wie prüft man, ob eine Aufgabe in Sellerie ausgeführt wird (insbesondere verwende ich Sellerie-Django)?

Ich habe die Dokumentation gelesen und gegoogelt, kann aber keinen Anruf wie folgt sehen:

my_example_task.state() == RUNNING

Mein Anwendungsfall ist, dass ich einen externen (Java) Dienst zum Transcodieren habe. Wenn ich ein Dokument zur Transcodierung sende, möchte ich überprüfen, ob die Aufgabe, die diesen Dienst ausführt, ausgeführt wird, und wenn nicht, es (neu) starten.

Ich verwende die aktuellen stabilen Versionen - 2.4, glaube ich.

Geben Sie die task_id (die von .delay () angegeben wird) zurück und fragen Sie anschließend die Sellerieinstanz nach dem Status:

x = method.delay(1,2)
print x.task_id

Wenn Sie fragen, erhalten Sie ein neues AsyncResult mit dieser task_id:

from celery.result import AsyncResult
res = AsyncResult("your-task-id")
res.ready()

Das Erstellen eines AsyncResultObjekts aus der Aufgaben-ID wird in den häufig gestellten Fragen empfohlen , um den Aufgabenstatus zu erhalten, wenn Sie nur die Aufgaben-ID haben.

Ab Sellerie 3.x gibt es jedoch erhebliche Einschränkungen, die Menschen beißen können, wenn sie nicht auf sie achten. Es hängt wirklich vom spezifischen Anwendungsfall ab.

Standardmäßig zeichnet Sellerie keinen "laufenden" Zustand auf.

Damit Sellerie aufzeichnet, dass eine Aufgabe ausgeführt wird, müssen Sie festlegen task_track_started, dass True. Hier ist eine einfache Aufgabe, die dies testet:

@app.task(bind=True)
def test(self):
    print self.AsyncResult(self.request.id).state

Wann task_track_startedist False, was die Standardeinstellung ist , wird die Statusanzeige angezeigt, PENDINGobwohl die Aufgabe gestartet wurde. Wenn Sie setzen task_track_startedauf True, dann wird der Staat sein STARTED.

Der Staat PENDINGbedeutet "Ich weiß es nicht."

Ein AsyncResultmit dem Staat PENDINGbedeutet nichts weiter als dass Sellerie den Status der Aufgabe nicht kennt. Dies kann verschiedene Gründe haben.

Zum einen AsyncResultkann mit ungültigen Task-IDs erstellt werden. Solche "Aufgaben" werden von Sellerie als anhängig angesehen:

>>> task.AsyncResult("invalid").status
'PENDING'

Ok, also wird niemand offensichtlich ungültige IDs füttern AsyncResult. Fair genug, aber es hat auch Auswirkungen, AsyncResultdie auch eine Aufgabe berücksichtigen, die erfolgreich ausgeführt wurde, die Sellerie jedoch vergessen hat PENDING. Auch in einigen Anwendungsszenarien kann dies ein Problem sein. Ein Teil des Problems hängt davon ab, wie Sellerie so konfiguriert ist, dass die Ergebnisse von Aufgaben gespeichert werden, da dies von der Verfügbarkeit der "Grabsteine" im Ergebnis-Backend abhängt. ("Tombstones" ist der Begriff, der in der Sellerie-Dokumentation für die Datenblöcke verwendet wird, die aufzeichnen, wie die Aufgabe beendet wurde.) Die Verwendung AsyncResultfunktioniert überhaupt nicht, wenn dies der Fall task_ignore_resultist True. Ein ärgerlicheres Problem ist, dass Sellerie die Grabsteine ​​standardmäßig abläuft. Dasresult_expiresDie Standardeinstellung ist 24 Stunden. Wenn Sie also eine Aufgabe starten und die ID im Langzeitspeicher aufzeichnen und 24 Stunden später eine ID damit erstellen AsyncResult, lautet der Status PENDING.

Alle "echten Aufgaben" beginnen im PENDINGZustand. Das Einsteigen PENDINGin eine Aufgabe kann also bedeuten, dass die Aufgabe angefordert wurde, aber nie weiter fortgeschritten ist (aus welchem ​​Grund auch immer). Oder es könnte bedeuten, dass die Aufgabe ausgeführt wurde, aber Sellerie ihren Zustand vergessen hat.

Autsch! AsyncResultwird nicht für mich arbeiten. Was kann ich sonst noch tun?

Ich ziehe es vor, die Ziele im Auge zu behalten, als die Aufgaben selbst im Auge zu behalten . Ich behalte einige Aufgabeninformationen, aber es ist wirklich zweitrangig, die Ziele zu verfolgen. Die Ziele werden unabhängig von Sellerie gespeichert. Wenn eine Anforderung eine Berechnung durchführen muss, die davon abhängt, dass ein Ziel erreicht wurde, prüft sie, ob das Ziel bereits erreicht wurde. Wenn ja, verwendet sie dieses zwischengespeicherte Ziel. Andernfalls wird die Aufgabe gestartet, die das Ziel beeinflusst, und an gesendet Der Client, der die HTTP-Anforderung zu einer Antwort gemacht hat, die angibt, dass er auf ein Ergebnis warten soll.

Die obigen Variablennamen und Hyperlinks gelten für Sellerie 4.x. In 3.x die entsprechenden Variablen und Hyperlinks sind: CELERY_TRACK_STARTED, CELERY_IGNORE_RESULT, CELERY_TASK_RESULT_EXPIRES.

Jedes TaskObjekt hat eine .requestEigenschaft, die es enthält AsyncRequest. Dementsprechend gibt die folgende Zeile den Status einer Aufgabe an task:

task.AsyncResult(task.request.id).state

Sie können auch benutzerdefinierte Status erstellen und die Ausführung der Aufgaben für den Wert aktualisieren. Dieses Beispiel stammt aus Dokumenten:

@app.task(bind=True)
def upload_files(self, filenames):
    for i, file in enumerate(filenames):
        if not self.request.called_directly:
            self.update_state(state='PROGRESS',
                meta={'current': i, 'total': len(filenames)})

http://celery.readthedocs.org/en/latest/userguide/tasks.html#custom-states

Alte Frage, aber ich bin kürzlich auf dieses Problem gestoßen.

Wenn Sie versuchen, die task_id abzurufen, können Sie dies folgendermaßen tun:

import celery
from celery_app import add
from celery import uuid

task_id = uuid()
result = add.apply_async((2, 2), task_id=task_id)

Jetzt wissen Sie genau, was die task_id ist, und können sie jetzt verwenden, um das AsyncResult abzurufen:

# grab the AsyncResult 
result = celery.result.AsyncResult(task_id)

# print the task id
print result.task_id
09dad9cf-c9fa-4aee-933f-ff54dae39bdf

# print the AsyncResult's status
print result.status
SUCCESS

# print the result returned 
print result.result
4

Verwenden Sie einfach diese API aus den Sellerie-FAQ

result = app.AsyncResult(task_id)

Das funktioniert gut.

Antwort von 2020:

#### tasks.py
@celery.task()
def mytask(arg1):
    print(arg1)

#### blueprint.py
@bp.route("/args/arg1=<arg1>")
def sleeper(arg1):
    process = mytask.apply_async(args=(arg1,)) #mytask.delay(arg1)
    state = process.state
    return f"Thanks for your patience, your job {process.task_id} \
             is being processed. Status {state}"

Versuchen:

task.AsyncResult(task.request.id).state

Dadurch wird der Status der Sellerie-Aufgabe angezeigt. Wenn sich die Sellerie-Aufgabe bereits im Status FEHLER befindet , wird eine Ausnahme ausgelöst :

raised unexpected: KeyError('exc_type',)

Für einfache Aufgaben können wir http://flower.readthedocs.io/en/latest/screenshots.html und http://policystat.github.io/jobtastic/ verwenden , um die Überwachung durchzuführen.

und für komplizierte Aufgaben sagen wir eine Aufgabe, die sich mit vielen anderen Modulen befasst. Wir empfehlen, den Fortschritt und die Meldung auf der jeweiligen Taskeinheit manuell aufzuzeichnen.

Ich fand hilfreiche Informationen in der

Sellerieprojekt Arbeiterhandbuch Inspektionsarbeiter

In meinem Fall überprüfe ich, ob Sellerie läuft.

inspect_workers = task.app.control.inspect()
if inspect_workers.registered() is None:
    state = 'FAILURE'
else:
    state = str(task.state) 

Sie können mit inspect spielen, um Ihre Bedürfnisse zu erfüllen.

• Zuerst ， in Ihrer Sellerie-App:

vi my_celery_apps / app1.py

app = Celery(worker_name)

• und als nächstes wechseln Sie in die Aufgabendatei ， App aus Ihrem Sellerie-App-Modul importieren.

vi task / task1.py

from my_celery_apps.app1 import app

app.AsyncResult(taskid)

try:
   if task.state.lower() != "success":
        return
except:
    """ do something """

Abgesehen von dem oben genannten programmatischen Ansatz ist der Status der Verwendung der Blumenaufgabe leicht zu erkennen.

Echtzeitüberwachung mit Sellerieereignissen. Flower ist ein webbasiertes Tool zur Überwachung und Verwaltung von Sellerie-Clustern.

1. Aufgabenfortschritt und -verlauf
2. Möglichkeit, Aufgabendetails anzuzeigen (Argumente, Startzeit, Laufzeit usw.)
3. Grafiken und Statistiken

Offizielles Dokument: Blumen - Sellerie - Überwachungstool

Installation:

$ pip install flower

Verwendung:

http://localhost:5555

res = method.delay()
    
print(f"id={res.id}, state={res.state}, status={res.status} ")

print(res.get())