大数据

背景： 我做了 8 年大数据平台，最近复盘一次事故：凌晨一个 BI 报表任务扫了 40GB 未命中的分区，把共享查询引擎的内存打爆，连带拖垮了两条在线服务链路。事后我们上了「查询级超时 + 资源配额 + 优先级队列」，但团队内部吵了一架：数

背景 过去 3 年我先后在两个大数据团队待过，一个 12 人、一个 4 人，都搞数仓。12 人那套是标准 Kimball 四层（ODS → DWD → DWS → ADS），每层独立 schema、独立调度、独立质量校验，看起来非常"正规"

背景 做大数据平台这几年，我遇到的最频繁的架构讨论不是「怎么加索引」，而是「表越来越大，历史数据怎么办」。 一个很典型的场景：订单流水表从 2000 万涨到 1.2 亿行，单表 80GB+，80% 的数据是 3 个月以前的。日常业务查询 9