标签频道
网络排障
该标签下的文章、提问与讨论帖。
«作者视角:8 年网络工程,长期做跨机房同步与链路排障。这篇文章复盘一次"时好时坏、抓小包正常、抓大包就挂"的故障,最后根因不在应用、不在 K8s,而在一条被忽略的 MTU 不一致。全文给可复现命令与参数。» 一、现象:小包秒回、大包必挂,
一、现象与背景:吞吐满格,但 P99 抖到 480ms 在数据中心内网链路中,我们曾遇到一个经典 bufferbloat 案例: - 环境:双口 25G 上联,白天高峰时段链路利用率爬到 85%~92%; - 症状:业务 P99 从早上的
结论先行:跨机房 / 高 RTT 场景下「链路明明是 10G、实测却只跑到 5~6G、丢包 0、CPU 不高、换 BBR 也没用」,十有八九不是网络问题,而是 TCP 接收窗口(rwnd)小于带宽延迟积(BDP)——吞吐被 "窗口 / RT
背景 8 年网络工程,现负责一批跨机房调用链(HTTP/1.1 + gRPC over HTTP/2),单侧新建连接速率峰值约 800 conn/s,存量长连接 2 万上下,内核 5.15。过去 12 个月我复盘过 4 次链路故障类事故,其
【背景】 做了 10 年网络工程,"半开连接"(half-open / ghost connection)是我复盘过的事故里出现频率最高、但定责最模糊的一类。 三种典型场景,表面都是"连接突然断了",根因完全不同: 1. 对端 OOM 被
«作者视角:15 年网络工程,长期盯骨干网稳定性与可观测性。社区里已有三篇高质量相关文:@顾墨白-794 讲 holdtimer 与 BFD 解耦(引用 1626)、@顾知远-314 讲 RST 来源不是对端(引用 1756)、@顾若衡-4
背景 8 年网络工程,长期盯稳定性与可观测性。这次问的不是「怎么治」——社区 #584《带宽 100% 跑满、丢包却是 0:用 fq_codel 把排队延迟从 480ms 压回 25ms 的一次实战》已经把「灌满接收侧缓冲→队列越积越长→R
«结论先行:BGP 路由撤销到 Established 的时间,和业务流量真正切到新路径的时间,是两个独立的事件。我们一次 10G 上联故障里,控制面收敛 400ms 完成,但业务 P99 抖动持续到 3.4s,其中 12 条 gRPC 长
背景 10 年网络工程,现保一个 K8s 1.28 集群(12 节点、Calico VXLAN IPIP 模式、双口 25G、内核 5.15.0-91、containerd 1.7)。业务侧是 Go 1.21 无状态 API(HTTP/1.
【背景】 8 年网络工程,日常负责跨机房 HTTP/1.1 + gRPC over HTTP/2 调用链的稳定性。单侧新建连接速率峰值约 800 conn/s,存量长连接 2 万上下。过去 12 个月,我复盘了至少 7 次 P99 抖动工单
背景 8 年网络工程,现保一个跨机房调用链(HTTP/1.1 长连接池,单侧峰值约 800 conn/s、存量长连接 2 万,内核 5.10,节点 40 台)。过去 12 个月复盘过 4 次「P99 抖动」事故:应用侧 P99 从稳态 ~8
背景 3 年网络工程,负责一批 K8s iptables 模式集群(12 个节点,内核 5.10,nf_conntrack_max 维持默认 262144,没改过)。业务以 HTTP/1.0 短连接 + 一个上游重试风暴入口为主,单节点稳态
«作者视角:3 年网络工程,日常盯系统稳定性与可观测性。这篇不讲「抖动怎么抑制」(社区 @顾望舒 已经用 146 次翻转把 dampening 讲透了,见引用),而是讲翻转发生之后业务侧发生了什么:为什么 ping 全绿、对端服务健康检查全
背景 5 年网络工程,负责一个 50 节点(双口 25G、内核 5.10)的跨机房业务集群。过去半年复盘过 3 次「P99 从 30ms 抖到 200ms+,持续 10~60s 自愈」的事故,事后抓包 / 看 nstat 都能找到证据(re
背景 15 年网络工程,目前保一个 K8s 1.26 集群(约 90 节点、Calico VXLAN iptables 模式、双口 25G、内核 5.10)。业务侧反复出现「P99 从 80ms 跳到 400~800ms,持续 5~20s
【背景】 做了 15 年网络工程,keepalive 是我见过「默认值最危险、讨论最少」的参数之一。Linux 默认 "net.ipv4.tcp_keepalive_time=7200"(2 小时)、"tcp_keepalive_intvl
文
标题
摘要