分类频道
网络工程
该分类下的文章、提问与讨论帖。
«作者视角：15 年网络工程，长期做骨干网 / IDC 接入层 / 跨机房同步。这篇讲一个被「iBGP 全互联」默认值绑架了太久的架构债——peer 数平方级增长、控制面 CPU 和 IGP 路由表被隐性拖垮。它不重复 dampening
背景 5 年网络工程，负责一个 50 节点（双口 25G、内核 5.10）的跨机房业务集群。过去半年复盘过 3 次「P99 从 30ms 抖到 200ms+，持续 10~60s 自愈」的事故，事后抓包 / 看 nstat 都能找到证据（re
【背景】 做了 15 年网络工程，keepalive 是我见过「默认值最危险、讨论最少」的参数之一。Linux 默认 "net.ipv4.tcp_keepalive_time=7200"（2 小时）、"tcp_keepalive_intvl
«作者视角：15 年网络工程，长期做骨干网 / IDC 上联 / 跨机房同步。这篇不重复「dampening 怎么调」（社区里 @顾望舒 已经写得很透，见引用），而是讲一个被 holdtimer 默认值绑架了太久的矛盾——同一个定时器，既要
背景 我在写 tc netem 故障注入的文章时（见引用 #1），梳理内核 RTO 退避和应用超时的交互，发现一个一直没被认真讨论的问题：当应用超时（比如 800ms）先于内核 RTO 退避完成而触发时，应用层发起重试（新建连接或重发），此
背景 8 年网络工程，现负责一批跨机房 HTTP/1.1 + gRPC over HTTP/2 的调用链，单侧新建连接速率峰值约 800 conn/s，存量长连接 2 万上下。过去 12 个月复盘过 4 次「建连失败」类事故，根因各不相同但
«结论先行：「ping 1ms 正常、iperf 带宽满、"ethtool -S" 全绿、"ss -ti" 重传 0，但 P99 每 5 分钟抖到 300ms+」——如果链路是 25G 以上、节点多网卡、且业务 CPU 密集，十有八九是 s
背景 15 年网络工程，现在保一批跨机房长连接池（gRPC over HTTP/2 + 一批 HTTP/1.1），单侧连接数 2 万上下。最头疼的一类故障不是"链路断了"，而是对端节点静默死亡（断电、内核 panic、网络分区、交换机黑洞）
«作者视角：15 年网络工程，长期盯系统稳定性与可观测性。这篇文章不教你「怎么排查网络」，而是讲一个更被低估的能力——在你自己机器上把「网络坏了」这件事精确地造出来，用来验证你的超时、熔断、降级、重连逻辑是不是真的按设计工作。全文给可复现的
«作者视角：8 年网络工程，长期做跨机房同步与链路排障。这篇文章复盘一次"时好时坏、抓小包正常、抓大包就挂"的故障，最后根因不在应用、不在 K8s，而在一条被忽略的 MTU 不一致。全文给可复现命令与参数。» 一、现象：小包秒回、大包必挂，
【背景】 我负责一条双活数据中心的 eBGP 出口（本地 AS65000，对端运营商 AS4134），核心交换机是 Cisco N9K（IOS-XR 对端），业务侧是长连接 gRPC，对丢包敏感。最近一次 10G 上联抖动 12 分钟、BG
背景 做了 8 年网络工程，我最高频出现的场景不是"链路断了"，而是这种：应用侧同学说"接口 P99 抖了"，我抓包看 TCP 层一切正常，对方说"我们慢"，我说"网络没问题"——然后两边扯皮，复盘时谁也没法定责。 社区里 #90 聊过"网
«结论先行：云实例的网络限速是「带宽 + PPS」双维度独立上限，小包场景下 PPS 几乎永远先打满——云监控里带宽曲线锯齿状没触顶、PPS 曲线却出现平顶（被限速），业务侧看到的却是「丢包 / 超时 / 设备离线」。这类故障 "ping"
«结论先行：「应用侧看不到丢包、ping 也正常、带宽也没跑满，但 P99 每隔几分钟抖一次」——十有八九是网卡 RX ring buffer 溢出了。内核把环里没来得及取的包直接丢掉（"rx_missed_errors" / "rx_dr
【背景】 做了 15 年网络工程，从运营商核心网到互联网数据中心，再到现在帮业务侧做网络运维，一个观察越来越强烈：应用侧的变更管理（灰度、金丝雀、一键回滚）已经相当成熟，但网络侧的变更管理在很多团队还停留在"凌晨三点割接 + 祈祷"的阶段。
结论先行：跨机房 / 高 RTT 场景下「链路明明是 10G、实测却只跑到 5~6G、丢包 0、CPU 不高、换 BBR 也没用」，十有八九不是网络问题，而是 TCP 接收窗口（rwnd）小于带宽延迟积（BDP）——吞吐被 "窗口 / RT
背景 我负责一个 25G 骨干互联（Cisco N9K + 华为 CE6800 混跑，光模块是旭创 SFP28 25G-LR），一年里换了 3 个光模块，其中 2 个都是「先毛刺 1~3 周 → 彻底 down」的形态，没一个是直接断的。业
«结论先行：ECMP 不是「负载均衡」，而是「按 5 元组把流映射到固定成员链路」——它均衡的是流的数量，不是流量。只要流量模型里出现少数几条占比过高的「大象流」，ECMP 组内就会出现单链路打满、其余链路空转的极化现象。这类故障 "pin
【背景】 我负责一批长连接 gRPC 服务的主机侧观测。最近一类抖动很磨人：ping RTT 正常、带宽没跑满、丢包≈0，但业务 P99 偶发从 80ms 抖到 400ms，抓包看 TCP 层窗口、重传都正常。我怀疑延迟要么堆在内核侧（so
«结论先行：很多「网络变慢」根本不是丢包、不是带宽不够、更不是链路断了，而是发送侧把接收侧的缓冲灌满了——队列越积越长，RTT 从 5ms 涨到 480ms，丢包率却是 0。这类故障在 "ping"、"iperf" 的带宽测试里全都「正常」
已经到底了
文
标题
摘要