结论先行:门禁只卡 worker 侧「出队→完成」的处理耗时(不含排队),CI 环境用专用队列 + 单消费者隔离,基线取 5 次运行的中位数而非 P95,判定规则用「环比劣化 >20% 且连续 2 次确认」。下面给完整落地方案。
一、门禁卡哪个指标:拆成两段,各管各的
你的问题本质是「排队时间」和「处理时间」混在一个端到端数字里。解法是拆:
| 指标 | 定义 | 门禁角色 | 为什么 | |------|------|---------|--------| | worker_process_time(核心门禁) | worker 出队时刻 → 任务终态时刻 | 卡这个,P50 断言 | 纯代码逻辑耗时,不受并发/排队污染 | | queue_wait_time(观测参考) | 提交时刻 → worker 出队时刻 | 不卡门禁,只告警 | 反映队列深度/消费者数,是容量问题不是代码问题 | | 端到端(提交→终态) | 两者之和 | 只做趋势看板 | 混了排队,做门禁会误报 |
关键原则:worker_process_time 是代码的「纯计算成本」——它只受代码变更影响(批量写改逐条写、多了个 RPC 调用、多了次 DB roundtrip),不受队列深度和并发影响。这才是 CI 该拦的东西。
二、指标怎么采出来并结构化
2.1 worker 侧埋点(推荐:结构化落 DB + 日志双写)
// worker 消费入口
@Consumer(topic = "report.generate")
public void onMessage(ReportTask task) {
long dequeueTs = System.nanoTime(); // 出队时刻
// ... 业务处理(生成 + 落库 + 转存)...
long doneTs = System.nanoTime();
long processMs = (doneTs - dequeueTs) / 1_000_000;
// 1. 结构化落 DB(CI 断言数据源)
taskRecordMapper.updateMetrics(task.getId(),
TaskStatus.SUCCESS,
processMs, // worker_process_time
dequeueTs - task.getSubmittedTs() // queue_wait_time
);
// 2. 结构化日志(ELK 查询 + 趋势看板)
log.info("report_task_complete taskId={} processMs={} queueWaitMs={} steps={}",
task.getId(), processMs, dequeueTs - task.getSubmittedTs(), stepBreakdown);
}
2.2 如果不想改 worker 代码(轻量方案)
在 worker 入口和出口各打一个带时间戳的结构化日志,CI 断言时从日志文件里提取:
// 入口
log.info("REPORT_TASK_START taskId={} ts={}", taskId, System.currentTimeMillis());
// 出口
log.info("REPORT_TASK_END taskId={} ts={} processMs={}", taskId, ts, ts - startTs);
CI 脚本里 grep + awk 提取,够用但不够优雅。
2.3 分步耗时拆解(定位劣化点的关键)
Map<String, Long> steps = new LinkedHashMap<>();
long t0 = System.nanoTime();
// 步骤1:数据生成
generateReport(task);
steps.put("generate", elapsed(t0));
// 步骤2:落库
persistToDB(task);
steps.put("persist", elapsed(t0));
// 步骤3:转存对象存储
uploadToObjectStorage(task);
steps.put("upload", elapsed(t0));
这一步是你「定位到底是谁的锅」的核心——当 P50 劣化时,看哪个 step 的耗时涨了,直接指向根因(批量写改逐条 → persist 涨;多了个校验 RPC → generate 涨;对象存储 SDK 升级 → upload 涨)。
三、基线怎么建才抗抖动
3.1 CI 环境隔离(必须)
# CI pipeline (GitLab CI / Jenkinsfile 伪代码)
stages:
- perf_regression
perf_regression:
script:
# 1. 启动 CI 专用 Kafka topic + 单消费者
- kafka-topics.sh --create --topic report.generate.ci --partitions 1 --replication-factor 1
- java -jar worker.jar --spring.kafka.consumer.group=ci-perf --spring.kafka.consumer.max-poll-records=1
# 2. 串行提交 10 个标准化任务(固定数据集,不含网络抖动)
- for i in $(seq 1 10); do
curl -X POST http://api/report/generate -d @fixtures/task_$i.json
done
sleep 120 # 等全部完成
# 3. 提取指标
- SELECT AVG(process_ms) as p50,
PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY process_ms) as median
FROM task_records
WHERE created_at > NOW() - INTERVAL 10 MINUTE
AND env = 'ci';
为什么必须单消费者 + 串行:
- 你的 CI 并发 10 个任务排队,后面 9 个的
queue_wait_time会污染端到端指标; - 单消费者 + 串行提交 → 每个任务的
worker_process_time就是纯处理耗时,无排队干扰; - 10 个任务取中位数(第 5~6 个),天然抗首尾抖动。
3.2 基线计算规则
基线 = median(5 次 CI 运行 × 每次 10 个任务的 worker_process_time)
= 50 个数据点取中位数
告警阈值 = 基线 × 1.20(20% 劣化)
确认规则 = 连续 2 次 CI 运行都超阈值 → 才标红阻断
# 为什么用中位数而非 P95:
# - 你的场景是「同一份代码、同一份数据」,理论上 10 个任务耗时应该很接近
# - P95 在 N=10 时就是最大值,一次偶发抖动就拉高
# - 中位数在 N=10 时取第 5~6 个,抗单次毛刺
3.3 判定规则(可直接抄)
def check_perf_regression(current_p50, baseline_p50, recent_runs):
"""
current_p50: 本次 CI 的 worker_process_time 中位数 (ms)
baseline_p50: 最近 10 次 CI 的中位数 (ms)
recent_runs: 最近 3 次 CI 的 p50 列表
"""
ratio = current_p50 / baseline_p50
# 规则1:单次劣化 >30% → 直接阻断
if ratio > 1.30:
return "BLOCK", f"单次劣化 {(ratio-1)*100:.0f}%,超过 30% 硬阈值"
# 规则2:劣化 >20% 且连续 2 次 → 阻断
if ratio > 1.20 and all(r > 1.20 * baseline_p50 for r in recent_runs[-2:]):
return "BLOCK", f"连续 2 次劣化 >20%,判定为真实回归"
# 规则3:劣化 10%~20% → 告警不阻断,标记观察
if ratio > 1.10:
return "WARN", f"劣化 {(ratio-1)*100:.0f}%,观察中"
return "PASS", "在基线范围内"
四、你那个 40s→95s 的案例怎么用这套方案复现定位
按你的描述,40s→95s 劣化大概率是 worker 内部某步变了。用分步耗时拆解后,你会看到类似:
| 步骤 | 基线 (ms) | 劣化后 (ms) | 判定 | |------|-----------|-------------|------| | generate(数据聚合+计算) | 12,000 | 12,200 | 正常 | | persist(DB 落库) | 18,000 | 52,000 | 劣化 189% → 根因 | | upload(对象存储转存) | 8,000 | 8,300 | 正常 |
一眼锁定 persist 步骤——进去查 diff,大概率是「一次 batch INSERT 改成了 N 次单条 INSERT」或者「多了个 SELECT 校验」。
五、补充:前端侧可配合做的事
作为关注可观测性的前端工程师,我建议同步在客户端加两个信号:
- 轮询超时分级:
GET /report/{taskId}的轮询间隔从固定 2s 改成指数退避(2s→4s→8s→16s),同时前端侧记录「首次轮询到终态的等待时间」作为客户端视角的 E2E 指标——这个值和 worker_process_time 的差值就是 queue_wait_time 的用户感知版; - 超时兜底:前端侧设一个「超过 2× 基线」的硬超时(比如基线 40s → 前端 120s 后显示"处理较慢,已转后台"),避免用户干等。
总结:门禁只卡 worker_process_time(出队→完成)的 P50 中位数,CI 环境用专用队列+单消费者+串行提交,基线取 5 次运行 50 个数据点的中位数,判定规则「>30% 直接阻断 / >20% 连续 2 次阻断 / 10-20% 告警观察」。分步耗时拆解是定位根因的关键工具——有了它,你不需要猜"是哪个改动导致的"。