大数据和云计算技术周报（第167期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。 本期会给大家奉献上精彩的：MongoDB、flink、缓存、python、ClickHouse、ES。全是干货，希望大家喜欢！！！

1flink

本文内容讲解了关于网易云音乐基于Flink实时数仓实践，包括实时数仓版本的演进过程，具体实现和最佳实践。

https://mp.weixin.qq.com/s/RElPUfD_JzOqlVCqtgeN2g

2Python

Python 已成功跃居榜单第二名，本月排名率为 12.12%；Java 被挤到第三位，排名率降至 11.68%。

https://mp.weixin.qq.com/s/wVT7fNFVpju0oC9J26HLvQ

3缓存

本文旨在分享携程机票后服务订单处理团队，在构建机票订单缓https://mp.weixin.qq.com/s/0ls1QYKAIiZdXhKPQ62OrQ

4数据库

阿里云Polardb-O数据库运维场景介绍，高可用部署、软件版本升级、功能维护性测试、高可用测试、日常巡检、性能监控、应急演练、应急保障、备库与恢复、备份策略、Polardb常见问题等常见场景。

https://mp.weixin.qq.com/s/lpaiO86Rl6lzjgOZLFp_sg

5Iceberg

随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要方向。Netflix 发起的 Apache Iceberg 项目具备 ACID 能力的表格式中间件成为了大数据、数据湖领域炙手可热的方向。本次演讲将会具体介绍 Iceberg 的设计初衷、优点和能力，通过本次分享您将会对表格式这一领域有充分的了解，并深入了解 Iceberg 的设计、实现、优势以及使用方式。

https://www.iteblog.com/archives/9862.html

6MongoDB

本文讲述了常用高并发网络模型：单线程网络IO复用模型、单listener+固定worker线程模型、固定worker线程模型、一个链接一个线程模型、单队列模型、多队列模型及MongoDB网络线程模型优化；

https://mongoing.com/archives/74644

7Elasticsearch

本文主要对Elasticsearch 数据结构的理解和合理使用进行讲解，对深入理解 Elasticsearch大有裨益！

https://mp.weixin.qq.com/s/TiKDf8b0T5zH5hHol1IzMw

8ClickHouse

由于ClickHouse本身无法很好地支持单条大批量的写入，因此在实时同步数据方面需要借助其他服务协助。本文给出一种结合Canal+Kafka的方案，并且给出在多个MySQL实例分库分表的场景下，如何将多张MySQL数据表写入同一张ClickHouse表的方法。

https://mp.weixin.qq.com/s/_gR7ZHqEUjH3ps1ZDKwxHQ

11开心一刻

部门开会时，大BOSS问技术总监，如何才能让进度落后的产品如期弄上线。 技术总监想了会儿，回答说：“要10个程序员每周上班7天，每天工作12个小时，一直持续半年，最后还要吊死大家一起养的流浪猫小明。” 大BOSS不解地问：“为啥要吊死小明？” 技术总监转过头对旁边的人说，“你看嘛，我就说没人在乎程序猿！”

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞