暂无搜索历史
前两篇把 Flink 的底层机制拆开讲了:有界/无界流决定了算子的执行模型,有状态计算是精确一次语义的根基。但一个框架好不好用,最终要落到一个问题上:它到底适合...
上一篇讲了有界流与无界流,其中一个例子是「按类别统计每分钟订单金额」,用到了 sum 聚合。如果你真的把那段代码跑起来,会看到每来一条记录,输出金额就往上累加一...
摘要:虚拟化不是"虚拟机"的同义词,而是一个从软件模拟、硬件加速到共享内核的完整谱系。本文梳理软件虚拟化(完全虚拟化、半虚拟化、OS 级虚拟化)与硬件虚拟化(V...
在传统大数据架构中,批量计算与流式计算长期由两套独立引擎承载:批处理依赖 MapReduce/Spark 等离线引擎,流处理依赖 Storm/Spark Str...
摘要:容器技术存在的理由只有两个——不虚拟化硬件、只虚拟化进程的"视角"与"预算",让同一台机器跑更多应用(提高系统资源利用率);用 cgroups 配额与 n...
摘要:Kafka 和 Spark Streaming 对接,两侧都有一堆参数,很多还会互相影响——拉取速率是两边一起管的,offset 也是两边一起管的,配置不...
摘要:容器隔离能力不是 Docker 发明的——chroot、FreeBSD Jails、Linux VServer/OpenVZ 到 LXC 四代技术逐步补齐...
摘要:数据到达速度超过处理速度,就会堆积、OOM、延迟失控。反压(Backpressure)就是解决这个问题的——观察处理延迟,反过来动态调整拉取速度。这篇把反...
摘要:Direct 模式上线前有两个问题绕不开:并行度怎么调,offset 怎么管。前者很多人栽在"executor 加了不少,吞吐还是上不去"上——因为 Di...
摘要:上一篇把 Direct 模式的原理讲清楚了,这篇落到代码——从 Maven 依赖、KafkaParams 配置、createDirectStream 调用...
摘要:前面讲接收数据时提过,Receiver 模式是 Spark Streaming 早期的 Kafka 集成方式,Direct 模式是它的替代者。这篇把 Di...
摘要:普通 Spark 作业 Driver 挂了,重跑就行;但 Spark Streaming 的 Driver 挂着的是"流处理的进度"——挂了不自动恢复,整...
摘要:reduceByKey 统计的是"当前这个 batch",但"最近 10 分钟的热门词""最近 1 小时的 PV"这类需求要看一个滚动的时间窗口。redu...
摘要:前面的算子都是无状态的——每个 batch 算完就丢。但"累计词频""累计销售额""维护会话状态"这类需求,必须跨 batch 记住之前的结果,这就是 u...
摘要:容错是流处理系统的底线——挂了能不能恢复、恢复后会不会丢数据或重复数据。这篇把 Spark Streaming 的容错拆成三个层面讲:数据容错(WAL 和...
摘要:foreachRDD 是 Spark Streaming 里最常用、也最容易写挂的输出算子。这篇讲清它和 transform 的区别——foreachRD...
摘要:Spark Streaming 的配置参数几十个,但真正需要你动手调的就那么几个,剩下的调错了反而添乱。这篇把参数按功能分六类,重点讲五个高频参数(blo...
摘要:DStream 是 Spark Streaming 的核心抽象,但很多人用了很久也没搞清楚它到底是什么。这篇把 DStream 拆开——它本质是"RDD ...
摘要:做实时计算,最先要搞明白的是数据怎么进来的。这篇讲清 Spark Streaming 的 Receiver 接收链路——数据从 Kafka/Socket ...
摘要:离线数仓里,"每个类目销售额前三的商品""用户最长连续登录天数""环比增长率"这类需求,用 groupBy 往往要写多层自连接。窗口函数一条 SQL 就能...
暂未填写公司和职称
暂未填写技能专长
暂未填写学校和专业