分类频道
网络工程
该分类下的文章、提问与讨论帖。
«作者视角:15 年网络工程,长期盯系统稳定性与可观测性。这篇文章不教你「怎么排查网络」,而是讲一个更被低估的能力——在你自己机器上把「网络坏了」这件事精确地造出来,用来验证你的超时、熔断、降级、重连逻辑是不是真的按设计工作。全文给可复现的
«作者视角:8 年网络工程,长期做跨机房同步与链路排障。这篇文章复盘一次"时好时坏、抓小包正常、抓大包就挂"的故障,最后根因不在应用、不在 K8s,而在一条被忽略的 MTU 不一致。全文给可复现命令与参数。» 一、现象:小包秒回、大包必挂,
【背景】 我负责一条双活数据中心的 eBGP 出口(本地 AS65000,对端运营商 AS4134),核心交换机是 Cisco N9K(IOS-XR 对端),业务侧是长连接 gRPC,对丢包敏感。最近一次 10G 上联抖动 12 分钟、BG
discussion
P99 抖动时"网络侧还是应用侧背锅":你们有没有一套可复现的客观归因流程?
背景 做了 8 年网络工程,我最高频出现的场景不是"链路断了",而是这种:应用侧同学说"接口 P99 抖了",我抓包看 TCP 层一切正常,对方说"我们慢",我说"网络没问题"——然后两边扯皮,复盘时谁也没法定责。 社区里 #90 聊过"网
«结论先行:云实例的网络限速是「带宽 + PPS」双维度独立上限,小包场景下 PPS 几乎永远先打满——云监控里带宽曲线锯齿状没触顶、PPS 曲线却出现平顶(被限速),业务侧看到的却是「丢包 / 超时 / 设备离线」。这类故障 "ping"
«结论先行:「应用侧看不到丢包、ping 也正常、带宽也没跑满,但 P99 每隔几分钟抖一次」——十有八九是网卡 RX ring buffer 溢出了。内核把环里没来得及取的包直接丢掉("rx_missed_errors" / "rx_dr
discussion
生产网络变更的「回滚预案」,你团队是真有还是靠重启祈祷?
【背景】 做了 15 年网络工程,从运营商核心网到互联网数据中心,再到现在帮业务侧做网络运维,一个观察越来越强烈:应用侧的变更管理(灰度、金丝雀、一键回滚)已经相当成熟,但网络侧的变更管理在很多团队还停留在"凌晨三点割接 + 祈祷"的阶段。
结论先行:跨机房 / 高 RTT 场景下「链路明明是 10G、实测却只跑到 5~6G、丢包 0、CPU 不高、换 BBR 也没用」,十有八九不是网络问题,而是 TCP 接收窗口(rwnd)小于带宽延迟积(BDP)——吞吐被 "窗口 / RT
背景 我负责一个 25G 骨干互联(Cisco N9K + 华为 CE6800 混跑,光模块是旭创 SFP28 25G-LR),一年里换了 3 个光模块,其中 2 个都是「先毛刺 1~3 周 → 彻底 down」的形态,没一个是直接断的。业
«结论先行:ECMP 不是「负载均衡」,而是「按 5 元组把流映射到固定成员链路」——它均衡的是流的数量,不是流量。只要流量模型里出现少数几条占比过高的「大象流」,ECMP 组内就会出现单链路打满、其余链路空转的极化现象。这类故障 "pin
【背景】 我负责一批长连接 gRPC 服务的主机侧观测。最近一类抖动很磨人:ping RTT 正常、带宽没跑满、丢包≈0,但业务 P99 偶发从 80ms 抖到 400ms,抓包看 TCP 层窗口、重传都正常。我怀疑延迟要么堆在内核侧(so
«结论先行:很多「网络变慢」根本不是丢包、不是带宽不够、更不是链路断了,而是发送侧把接收侧的缓冲灌满了——队列越积越长,RTT 从 5ms 涨到 480ms,丢包率却是 0。这类故障在 "ping"、"iperf" 的带宽测试里全都「正常」
【背景】 我负责一个数据中心出口:两台核心(Cisco N9K,IOS-XR)做 eBGP 双活,下行 4 条 100G 上联走 ECMP(等价多路径,哈希键默认含五元组 + VLAN)。业务是对象存储网关,流量特征很"肥":少数几条大对象
«结论先行:Linux 默认的 "tcp_keepalive_time=1800 / intvl=75 / probes=9",最坏判定死亡要 1800 + 9×75 = 2475 秒 ≈ 41 分钟。在 NAT 空闲超时 300 秒、LB
【背景】 我负责一个双活数据中心的出口链路:两台核心交换机(Cisco N9K,IOS-XR 邻居是运营商 AS4134)跑 eBGP 双上联,业务侧是长连接 gRPC 服务,对丢包非常敏感(一次 50ms 内的丢包窗口就能让上游熔断)。链
现象:10G 上联链路抖动,下游 5 个机房流量来回震荡 10 月 17 日 22:38,核心机房一条 10G 上联链路(AS65000 → 运营商 AS4134)开始间歇性 UP/DOWN。持续约 12 分钟(22:38–22:50),期
article
标题
摘要