重複程式碼的集合中又添新成員：追蹤 Celery 任務(wù)的執(zhí)行時間。

每個 Celery 任務(wù)其實有兩個不同的「執(zhí)行」時間：

• 實際執(zhí)行時間: 程式碼運作的時間。
• 「完成時間」: 包含在佇列中等待可用工作進(jìn)程的時間。

兩者都很重要，因為我們的最終目標(biāo)是了解任務(wù)何時完成。

觸發(fā)任務(wù)後，我們需要知道任務(wù)何時完成以及何時可以預(yù)期結(jié)果。這就像項目估算一樣。管理者真正想知道的是專案何時完成，而不是它在一週內(nèi)就能完成，但沒有人有空在接下來的六個月內(nèi)去做。

使用 Celery 訊號

我們可以使用 Celery 訊號來計時任務(wù)。

提示 1: Celery 訊號的所有參數(shù)都是關(guān)鍵字參數(shù)。這意味著我們可以只列出我們感興趣的關(guān)鍵字參數(shù)，並將其餘參數(shù)打包到 **kwargs 中。這是個非常棒的設(shè)計！所有訊號都應(yīng)該採用這種方式！

提示 2: 我們可以將執(zhí)行開始和結(jié)束時間儲存在任務(wù)物件的「headers」屬性中。

任務(wù)入隊

當(dāng) Celery 任務(wù)進(jìn)入佇列時，記錄目前時間：

from celery import signals
from dateutil.parser import isoparse
from datetime import datetime, timezone

@signals.before_task_publish.connect
def before_task_publish(*, headers: dict, **kwargs):
    raw_eta = headers.get("eta")
    publish_time = isoparse(raw_eta) if raw_eta else datetime.now(tz=timezone.utc)
    headers["__publish_time"] = publish_time.isoformat()

任務(wù)開始執(zhí)行

當(dāng)工作流程接收到任務(wù)時，記錄當(dāng)前時間：

from celery import signals
from datetime import datetime, timezone

@signals.task_prerun.connect
def task_prerun(*, task: Task, **kwargs):
    setattr(task.request, "__prerun_time", datetime.now(tz=timezone.utc).isoformat())

任務(wù)執(zhí)行結(jié)束

任務(wù)完成後，計算執(zhí)行時間並將其儲存到某個地方，例如 StatsD 或其他監(jiān)控工具。

StatsD 是用於監(jiān)控應(yīng)用程式和偵測任何軟體以提供自訂指標(biāo)的業(yè)界標(biāo)準(zhǔn)技術(shù)堆疊。

• Netdata: StatsD 簡介 [1]

from celery import signals, Task
from dateutil.parser import isoparse
from datetime import datetime, timezone, timedelta

def to_milliseconds(td: timedelta) -> int:
    return int(td.total_seconds() * 1000)

@signals.task_postrun.connect
def task_postrun(*, task: Task, **kwargs):
    now = datetime.now(tz=timezone.utc)
    publish_time = isoparse(getattr(task.request, "__publish_time", ""))
    prerun_time = isoparse(getattr(task.request, "__prerun_time", ""))

    exec_time = now - prerun_time if prerun_time else timedelta(0)
    waiting_time = prerun_time - publish_time if publish_time and prerun_time else timedelta(0)
    waiting_and_exec_time = now - publish_time if publish_time else timedelta(0)

    stats = {
        "exec_time_ms": to_milliseconds(exec_time),
        "waiting_time_ms": to_milliseconds(waiting_time),
        "waiting_and_exec_time_ms": to_milliseconds(waiting_and_exec_time),
    }
    # TODO: 將統(tǒng)計數(shù)據(jù)發(fā)送到 StatsD 或其他監(jiān)控工具
    statsd.timing(f"celery.task.exec_time_ms", stats["exec_time_ms"], tags=[f"task:{task.name}"])
    # ... 發(fā)送其他統(tǒng)計數(shù)據(jù) ...

額外功能：設(shè)定執(zhí)行時間過長警告

可以在上述函數(shù)中加入硬編碼閾值：

if exec_time > timedelta(hours=1):
    logger.error(f"任務(wù) {task.name} 執(zhí)行時間過長: {exec_time}。請檢查！")

或者，可以根據(jù)任務(wù)定義設(shè)定多層閾值或閾值，或任何可以在程式碼中表達(dá)的內(nèi)容。

以上是如何測量 Celery 任務(wù)的執(zhí)行時間？的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！