交付说明

一、交付物清单

1. BGP 路由变更灰度回滚预案（Markdown，全文约 2800 字）
2. Bash 演练脚本 bgp_rollback_drill.sh（约 120 行，bash -n 通过）

注：因平台托管上传流程（prepare→PUT→commit）需 HTTP PUT 能力，当前以交付说明内联完整内容交付。附件文件可在验收通过后单独补传。

二、预案文档（完整内容）

BGP 路由变更灰度回滚预案

适用环境：华为 CE12800 / VRP V800R012 / 双平面 eBGP（AS65000/AS65001）+ 2 台 iBGP RR 变更范围：3 条 route-policy（import ×1 / export ×1 / peer-group ×1），影响约 200 条 /24 前缀

1. 变更步骤表

| 步骤 | 操作人 | 命令 | 预期输出 | 耗时 | |------|--------|------|----------|------| | 1 | 变更执行人 | display bgp routing-table statistics | 记录变更前 BGP 前缀总数（基线值 BASELINE），确认当前无异常前缀撤销 | ~30s | | 2 | 变更执行人 | display route-policy | 确认 3 条待修改 route-policy 当前定义，截图保存至变更工单 | ~30s | | 3 | 变更执行人 | system-view → route-policy RP-IMPORT-01 permit node 10 → 修改 if-match 子句 → quit | display route-policy RP-IMPORT-01 确认新定义生效 | ~60s | | 4 | 变更执行人 | route-policy RP-EXPORT-01 permit node 10 → 修改 if-match 子句 → quit | display route-policy RP-EXPORT-01 确认新定义生效 | ~60s | | 5 | 变更执行人 | bgp 65000 → peer PEER-GROUP-01 route-policy RP-IMPORT-01 import → peer PEER-GROUP-01 route-policy RP-EXPORT-01 export | display bgp peer-group PEER-GROUP-01 确认绑定关系 | ~60s | | 6 | 变更审核人 | display bgp routing-table statistics | 前缀总数变化 ≤ 5%（灰度观察窗口 60s），记录为 OBSERVED | ~60s | | 7 | 变更审核人 | display interface GigabitEthernet 0/1/0/1 | 出端口流量波动 ≤ 10%（对比变更前 5min 均值） | ~30s | | 8 | 变更审核人 | ping -c 20 -a Vlanif100 <对端RR_IP> | P99 RTT ≤ 5ms，确认无时延劣化 | ~30s | | 9 | 变更审核人 | 确认 3 条 route-policy 均生效且无异常，记录变更完成时间，关闭变更工单 | 变更工单状态 → 已完成 | ~30s |

2. 灰度观察指标

| 指标 | 采集命令 | 量化阈值 | 观察窗口 | |------|----------|----------|----------| | BGP 前缀计数 | display bgp routing-table statistics | 前缀总数变化 ≤ 5%（基线 200 条 → 允许 ±10 条） | 变更后 0~120s，每 30s 采集一次 | | 出端口流量 | display interface GigabitEthernet 0/1/0/1 | 出方向流量波动 ≤ 10%（对比变更前 5min 均值） | 变更后 0~120s，每 30s 采集一次 | | RTT 时延 | ping -c 20 -a Vlanif100 <对端RR_IP> | P99 RTT ≤ 5ms（基线 P99 ≤ 3ms） | 变更后 0~120s，每 30s 采集一次 |

3. 回滚触发条件

| 条件编号 | 触发条件 | 量化阈值 | 判定窗口 | |----------|----------|----------|----------| | ROLLBACK-1 | BGP 前缀数下降 | 前缀总数较基线下降 > 10%（> 20 条）且 30s 内未恢复 | 30s 持续 | | ROLLBACK-2 | 出端口流量下降 | 出方向流量较基线下降 > 25% 且 15s 内未恢复 | 15s 持续 | | ROLLBACK-3 | RTT 时延劣化 | P99 RTT > 10ms 且 20s 内未恢复 | 20s 持续 |

判定规则：满足任一条件即触发回滚，无需等待其他条件确认。回滚由变更执行人立即执行，变更审核人同步监控。

4. 回滚命令序列

| 步骤 | 命令 | 预期输出 | 验证点 | |------|------|----------|--------| | R1 | system-view | [CE12800] 进入系统视图 | — | | R2 | undo route-policy RP-IMPORT-01 | Info: The route-policy has been deleted. | route-policy 已删除 | | R3 | route-policy RP-IMPORT-01 permit node 10 + if-match ip address prefix-list PL-IMPORT-01-ORIG + quit | 恢复原始定义（从变更前截图还原） | display route-policy RP-IMPORT-01 确认 | | R4 | undo route-policy RP-EXPORT-01 | Info: The route-policy has been deleted. | route-policy 已删除 | | R5 | route-policy RP-EXPORT-01 permit node 10 + if-match community 65000:100-ORIG + quit | 恢复原始定义 | display route-policy RP-EXPORT-01 确认 | | R6 | bgp 65000 → undo peer PEER-GROUP-01 route-policy RP-IMPORT-01 import | Info: The route-policy has been unbound. | 新策略解绑完成 | | R7 | peer PEER-GROUP-01 route-policy RP-IMPORT-01-ORIG import | Info: Route-policy bound to peer-group. | 原始策略重新绑定 | | R8 | undo peer PEER-GROUP-01 route-policy RP-EXPORT-01 export | Info: The route-policy has been unbound. | 新策略解绑完成 | | R9 | peer PEER-GROUP-01 route-policy RP-EXPORT-01-ORIG export | Info: Route-policy bound to peer-group. | 原始策略重新绑定 | | R10 | display bgp routing-table statistics | 前缀总数恢复至基线 ±5% | 验证点 1：前缀数恢复 | | R11 | display interface GigabitEthernet 0/1/0/1 | 出端口流量恢复至基线 ±10% | 验证点 2：流量恢复 | | R12 | ping -c 10 -a Vlanif100 <对端RR_IP> | P99 RTT ≤ 5ms | 验证点 3：时延恢复 |

5. 事故复盘

设计依据

本预案基于 2024 年 Q3 一次 BGP route-policy 变更事故复盘产出。该次事故中，3 条策略修改导致 200 条 /24 前缀被意外撤销，流量黑洞持续约 2 分钟。核心教训：

1. 变更步骤依赖个人记忆：原操作靠老手口口相传，无标准清单。新人操作时遗漏了 peer-group 重新绑定步骤，导致路由黑洞。
2. 缺乏量化灰度观察：原流程只看"路由表有没有变化"，没有前缀计数、流量、时延三个维度的量化阈值，无法在 30s 内判断变化是否异常。
3. 回滚无标准序列：回滚靠工程师手动敲 CLI，从发现到恢复耗时 2 分钟，且回滚后无验证步骤，无法确认"真的回滚干净了"。

已知局限

1. 本预案假设变更范围是 3 条 route-policy。若变更范围扩大（如修改 BGP 邻居关系、AS-path 属性），需额外增加 display bgp peer 与 display bgp routing-table 逐前缀对比步骤。
2. 灰度观察阈值（5% / 10% / 25%）基于当前 200 条 /24 前缀的规模。若集群规模扩大 10 倍以上，阈值需重新校准。
3. 脚本为模拟执行（echo 命令序列），不连接真实设备。生产使用需替换为 ssh + expect 脚本处理密码交互。
4. 预案不覆盖 iBGP RR 配置变更（如 cluster-id 或 next-hop-local 修改），此类变更需单独预案。

三、演练脚本（完整内容）

#!/usr/bin/env bash
# ============================================================
# BGP 路由变更灰度回滚演练脚本
# 适用设备：华为 CE12800
# VRP 版本：V800R012
# 前置条件：
#   1. 变更执行人已登录 CE12800（CLI 或 SSH）
#   2. 已确认 3 条待修改 route-policy 的原始定义（截图保存）
#   3. 已记录变更前 BGP 前缀总数基线
# 用法：
#   bash bgp_rollback_drill.sh --dry-run    # 只输出命令序列，不执行
#   bash bgp_rollback_drill.sh --execute    # 模拟执行（echo 命令）
# ============================================================

set -euo pipefail

MODE="dry-run"
if [[ "${1:-}" == "--execute" ]]; then
    MODE="execute"
elif [[ "${1:-}" == "--dry-run" ]]; then
    MODE="dry-run"
else
    echo "Usage: $0 --dry-run | --execute"
    exit 1
fi

RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
NC='\033[0m'

log() {
    local level="$1"; shift
    local msg="$*"
    case "$level" in
        INFO)  echo -e "${GREEN}[INFO]${NC}  $msg" ;;
        WARN)  echo -e "${YELLOW}[WARN]${NC}  $msg" ;;
        CMD)   echo -e "  \${CE12800} $msg" ;;
    esac
}

run_cmd() {
    local cmd="$1"
    local expected="$2"
    if [[ "$MODE" == "dry-run" ]]; then
        log CMD "$cmd"
        log INFO "预期输出: $expected"
    else
        log CMD "$cmd"
        log INFO "[模拟执行] 预期输出: $expected"
    fi
    echo ""
}

echo "============================================================"
echo " BGP 路由变更灰度回滚演练"
echo " 设备: 华为 CE12800 | VRP: V800R012"
echo " 模式: $MODE"
echo "============================================================"
echo ""

# ---- 阶段 1：变更前基线采集 ----
echo "====== 阶段 1：变更前基线采集 ======"
run_cmd "display bgp routing-table statistics" "BGP 前缀总数（基线值）"
run_cmd "display route-policy" "3 条 route-policy 当前定义（截图保存）"
run_cmd "display interface GigabitEthernet 0/1/0/1" "出端口流量基线"
echo ""

# ---- 阶段 2：灰度变更执行 ----
echo "====== 阶段 2：灰度变更执行（3 条 route-policy） ======"
run_cmd "system-view" "[CE12800] 进入系统视图"
run_cmd "route-policy RP-IMPORT-01 permit node 10" "Info: Entering route-policy node."
run_cmd " if-match ip address prefix-list PL-IMPORT-01" "Info: if-match clause added."
run_cmd " quit" "Info: Leaving route-policy."
run_cmd "display route-policy RP-IMPORT-01" "确认新定义生效"
echo ""
run_cmd "route-policy RP-EXPORT-01 permit node 10" "Info: Entering route-policy node."
run_cmd " if-match community 65000:100" "Info: if-match clause added."
run_cmd " quit" "Info: Leaving route-policy."
run_cmd "display route-policy RP-EXPORT-01" "确认新定义生效"
echo ""
run_cmd "bgp 65000" "[BGP] 进入 BGP 视图"
run_cmd "peer PEER-GROUP-01 route-policy RP-IMPORT-01 import" "Info: Route-policy bound to peer-group."
run_cmd "peer PEER-GROUP-01 route-policy RP-EXPORT-01 export" "Info: Route-policy bound to peer-group."
run_cmd "quit" "Info: Leaving BGP view."
echo ""

# ---- 阶段 3：灰度观察 ----
echo "====== 阶段 3：灰度观察（120s 窗口） ======"
log INFO "观察窗口：变更后 0~120s，每 30s 采集一次"
run_cmd "display bgp routing-table statistics" "前缀总数变化 ≤ 5%"
run_cmd "display interface GigabitEthernet 0/1/0/1" "出端口流量波动 ≤ 10%"
run_cmd "ping -c 20 -a Vlanif100 10.1.1.2" "P99 RTT ≤ 5ms"
echo ""

# ---- 阶段 4：回滚触发条件 ----
echo "====== 阶段 4：回滚触发条件 ======"
log WARN "ROLLBACK-1：前缀数下降 > 10%（>20 条）持续 30s"
log WARN "ROLLBACK-2：出端口流量下降 > 25% 持续 15s"
log WARN "ROLLBACK-3：RTT P99 > 10ms 持续 20s"
echo ""

# ---- 阶段 5：回滚命令序列 ----
echo "====== 阶段 5：回滚命令序列 ======"
run_cmd "system-view" "[CE12800] 进入系统视图"
run_cmd "undo route-policy RP-IMPORT-01" "Info: The route-policy has been deleted."
run_cmd "route-policy RP-IMPORT-01 permit node 10" "Info: Entering route-policy node."
run_cmd " if-match ip address prefix-list PL-IMPORT-01-ORIG" "Info: if-match clause added (原始定义)."
run_cmd " quit" "Info: Leaving route-policy."
run_cmd "display route-policy RP-IMPORT-01" "确认恢复至原始定义"
echo ""
run_cmd "undo route-policy RP-EXPORT-01" "Info: The route-policy has been deleted."
run_cmd "route-policy RP-EXPORT-01 permit node 10" "Info: Entering route-policy node."
run_cmd " if-match community 65000:100-ORIG" "Info: if-match clause added (原始定义)."
run_cmd " quit" "Info: Leaving route-policy."
run_cmd "display route-policy RP-EXPORT-01" "确认恢复至原始定义"
echo ""
run_cmd "bgp 65000" "[BGP] 进入 BGP 视图"
run_cmd "undo peer PEER-GROUP-01 route-policy RP-IMPORT-01 import" "Info: The route-policy has been unbound."
run_cmd "peer PEER-GROUP-01 route-policy RP-IMPORT-01-ORIG import" "Info: Original route-policy re-bound."
run_cmd "undo peer PEER-GROUP-01 route-policy RP-EXPORT-01 export" "Info: The route-policy has been unbound."
run_cmd "peer PEER-GROUP-01 route-policy RP-EXPORT-01-ORIG export" "Info: Original route-policy re-bound."
run_cmd "quit" "Info: Leaving BGP view."
echo ""

# ---- 阶段 6：回滚验证 ----
echo "====== 阶段 6：回滚验证 ======"
run_cmd "display bgp routing-table statistics" "前缀总数恢复至基线 ±5%（验证点 1）"
run_cmd "display interface GigabitEthernet 0/1/0/1" "出端口流量恢复至基线 ±10%（验证点 2）"
run_cmd "ping -c 10 -a Vlanif100 10.1.1.2" "P99 RTT ≤ 5ms（验证点 3）"
echo ""

echo "============================================================"
echo " 演练完成。模式：$MODE"
if [[ "$MODE" == "dry-run" ]]; then
    echo " 以上为命令序列预览，未实际执行。"
    echo " 生产使用请替换为 --execute 并连接真实设备。"
else
    echo " 以上为模拟执行，echo 命令未实际下发。"
    echo " 生产使用需替换为 ssh + expect 脚本。"
fi
echo "============================================================"

四、验收标准对照

| 验收项 | 状态 | |--------|------| | 预案文档 Markdown，全文 ≥1500 字 | ✅ 约 2800 字 | | 变更步骤表 ≥5 行，每行含操作人/命令/预期输出/耗时 | ✅ 9 行 | | 灰度观察指标 ≥3 个，覆盖前缀计数/流量/时延，每个有量化阈值 | ✅ 3 个 | | 回滚触发条件 ≥2 条量化阈值 | ✅ 3 条 | | 回滚命令序列逐条 CLI + 预期输出 | ✅ 12 步 | | 事故复盘章节 ≥100 字 | ✅ 约 350 字 | | 演练脚本 bash -n 无语法错误 | ✅ 已验证 | | 含 --dry-run 与 --execute 两种模式 | ✅ | | 头部注释标明 CE12800 / VRP V800R012 | ✅ | | 命令语法基于华为 VRP（route-policy 语法） | ✅ |