大数据与云计算技术周报（第130期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。 本期会给大家奉献上精彩的：ES、kafka、Flink、MongoDB、AI、分布式数据库、IOT、Hudi、Spark、。全是干货，希望大家喜欢！！！

1ES

随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。

使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。

https://mp.weixin.qq.com/s/XajqazLT_mW-ImUsfgsuzA

2kafka

大白话带你认识 Kafka完整技术栈

https://mp.weixin.qq.com/s/7aoKl1LRfwtYEDesQ4dCuw

3Flink

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

https://mp.weixin.qq.com/s/TJMPqCokiBD_Hb-EpYtO4g

4Spark

本文介绍了SparkSQL 的架构简，介绍字节跳动在 SparkSQL 引擎上的优化实践，以及字节跳动在 Spark Shuffle 稳定性提升和性能优化上的实践与探索。

https://mp.weixin.qq.com/s/HbUnZcVwusEQQsq8LveeuA

5分布式数据库

目前集中式架构已越来越不适应业务以及转型的要求，需要对架构进行分布式改造，提升IT系统的承载能力。分布式数据库作为分布式架构的基石，其选型直接关系到分布式架构转型的成败。本文结合企业实际情况，为分布式数据库的选型提供了参考，可降低选型和复杂度及工作量。

https://mp.weixin.qq.com/s/vqIV5lM3Y5IL_kG-4L3LPA

6MongoDB

本文讲述了利用MongoShake打造基于MongoDB的集群数据同步平台，以及MongoShake的应用场景和功能介绍。

https://www.jianshu.com/p/6f51e0f0314a

7Hudi

Hudi支持Upsert语义，即将数据插入更新至Hudi数据集中，在借助索引机制完成数据查询后（查找记录位于哪个文件），再将该记录的位置信息回推至记录本身，然后对于已经存在于文件的记录使用UPDATE，而未存在于文件中的记录使用INSERT。本篇继续分析记录如何进行插入更新的。

https://mp.weixin.qq.com/s/lywUcUZBePa3tEcM7YqZpw

8Android

美国最高法院已同意复审这件过去十年最重要的的软件版权纠纷案(copyright dispute)。

https://mp.weixin.qq.com/s/bG_rOFzX-mS5cvtErb2tKw

9IOT

物联网（The Internet of Things，简称IOT），即“万物相连的互联网”，是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。

物联网并不是个新鲜的概念，20多年前，物联网概念由比尔盖茨首次在他的《未来之路》中提起。只是当时受限于无线网络、硬件及传感设备的发展，并未引起世人的重视。

https://mp.weixin.qq.com/s/nfsPUi0UphwUGa8T0hVg3g

10AI

EM 算法，全称 Expectation Maximization Algorithm。期望最大算法是一种迭代算法，用于含有隐变量（Hidden Variable）的概率参数模型的最大似然估计或极大后验概率估计。

https://mp.weixin.qq.com/s/192sLXAvLKzwsTKCZs-AuA

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞