大数据技术周报第 010 期

这里记录过去一周，大数据相关值得分享的东西，每周日发布。

国庆假快乐(^▽^)，这是第 10 期分享。

技术一瞥

1.Flink 最近发布 1.14.0 版本

• https://flink.apache.org/news/2021/09/29/release-1.14.0.html[1]

The Apache Software Foundation recently released its annual report and Apache Flink once again made it on the list of the top 5 most active projects! This remarkable activity also shows in the new 1.14.0 release. Once again, more than 200 contributors worked on over 1,000 issues. We are proud of how this community is consistently moving the project forward.

文章

本周推荐文章

1、顺丰科技 Hudi on Flink 实时数仓实践本文作者刘杰，介绍了顺丰科技数仓的架构，趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节，以及未来的一些规划。主要内容为：

1. 数仓架构
2. Hudi 代码躺过的坑
3. 状态优化
4. 未来规划

2、浅谈 RocketMQ、Kafka、Pulsar 的事务消息事务是一个程序执行单元，里面的所有操作要么全部执行成功，要么全部执行失败。RocketMQ、Kafka 和 Pulsar 都是当今业界应用十分广泛的开源消息队列（MQ）组件，笔者在工作中遇到关于 MQ 选型相关的内容，了解到关于“事务消息”这个概念在不同的 MQ 组件里有不同内涵。故借此文，试着浅析一番这三种消息队列（MQ）的事务消息有何异同，目的是形成关于消息队列事务消息的全景视图，给有类似业务需求的同学提供一些参考和借鉴。

3、Clickhouse的实践之路(58技术)在数据量日益增长的当下，传统数据库的查询性能已满足不了我们的业务需求。而Clickhouse在OLAP领域的快速崛起引起了我们的注意,于是我们引入Clickhouse并不断优化系统性能，提供高可用集群环境。本文主要讲述如何通过Clickhouse结合大数据生态来定制一套完善的数据分析方案、如何打造完备的运维管理平台以降低维护成本，并结合具体案例说明Clickhouse的实践过程。

资源

1、flinkStreamSQL[2]

• 基于开源的flink，对其实时sql进行扩展
  • 自定义create table 语法（包括源表,输出表,维表）
  • 自定义create view 语法
  • 自定义create function 语法
  • 实现了流与维表的join
  • 支持原生FlinkSQL所有的语法
  • 扩展了输入和输出的性能指标到Task metrics

2、https://github.com/heibaiying/BigData-Notes[3]

不保证内容内容质量，获取自己觉得有价值的内容就可以了。

参考资料

[1]

https://flink.apache.org/news/2021/09/29/release-1.14.0.html: https://flink.apache.org/news/2021/09/29/release-1.14.0.html

[2]

flinkStreamSQL: https://github.com/DTStack/flinkStreamSQL

[3]

https://github.com/heibaiying/BigData-Notes: https://github.com/heibaiying/BigData-Notes