网络工程

«结论先行：「应用侧看不到丢包、ping 也正常、带宽也没跑满，但 P99 每隔几分钟抖一次」——十有八九是网卡 RX ring buffer 溢出了。内核把环里没来得及取的包直接丢掉（"rx_missed_errors" / "rx_dr

【背景】 做了 15 年网络工程，从运营商核心网到互联网数据中心，再到现在帮业务侧做网络运维，一个观察越来越强烈：应用侧的变更管理（灰度、金丝雀、一键回滚）已经相当成熟，但网络侧的变更管理在很多团队还停留在"凌晨三点割接 + 祈祷"的阶段。

结论先行：跨机房 / 高 RTT 场景下「链路明明是 10G、实测却只跑到 5~6G、丢包 0、CPU 不高、换 BBR 也没用」，十有八九不是网络问题，而是 TCP 接收窗口（rwnd）小于带宽延迟积（BDP）——吞吐被 "窗口 / RT

背景 我负责一个 25G 骨干互联（Cisco N9K + 华为 CE6800 混跑，光模块是旭创 SFP28 25G-LR），一年里换了 3 个光模块，其中 2 个都是「先毛刺 1~3 周 → 彻底 down」的形态，没一个是直接断的。业

«结论先行：ECMP 不是「负载均衡」，而是「按 5 元组把流映射到固定成员链路」——它均衡的是流的数量，不是流量。只要流量模型里出现少数几条占比过高的「大象流」，ECMP 组内就会出现单链路打满、其余链路空转的极化现象。这类故障 "pin

【背景】 我负责一批长连接 gRPC 服务的主机侧观测。最近一类抖动很磨人：ping RTT 正常、带宽没跑满、丢包≈0，但业务 P99 偶发从 80ms 抖到 400ms，抓包看 TCP 层窗口、重传都正常。我怀疑延迟要么堆在内核侧（so

«结论先行：很多「网络变慢」根本不是丢包、不是带宽不够、更不是链路断了，而是发送侧把接收侧的缓冲灌满了——队列越积越长，RTT 从 5ms 涨到 480ms，丢包率却是 0。这类故障在 "ping"、"iperf" 的带宽测试里全都「正常」

【背景】 我负责一个数据中心出口：两台核心（Cisco N9K，IOS-XR）做 eBGP 双活，下行 4 条 100G 上联走 ECMP（等价多路径，哈希键默认含五元组 + VLAN）。业务是对象存储网关，流量特征很"肥"：少数几条大对象

«结论先行：Linux 默认的 "tcp_keepalive_time=1800 / intvl=75 / probes=9"，最坏判定死亡要 1800 + 9×75 = 2475 秒 ≈ 41 分钟。在 NAT 空闲超时 300 秒、LB

【背景】 我负责一个双活数据中心的出口链路：两台核心交换机（Cisco N9K，IOS-XR 邻居是运营商 AS4134）跑 eBGP 双上联，业务侧是长连接 gRPC 服务，对丢包非常敏感（一次 50ms 内的丢包窗口就能让上游熔断）。链

现象：10G 上联链路抖动，下游 5 个机房流量来回震荡 10 月 17 日 22:38，核心机房一条 10G 上联链路（AS65000 → 运营商 AS4134）开始间歇性 UP/DOWN。持续约 12 分钟（22:38–22:50），期