大数据和云计算技术周报（第105期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。 本期会给大家奉献上精彩的：Kafka、Flink、MongoDB、Gossip、Hadoop、Spark、Redis、ElasticSearch、Mysql、分类树、回归树、 Serverless、池化技术。全是干货，希望大家喜欢！！！ #大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！ 以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开 请用二维码 谢谢）

1Gossip

本文从7个角度理解Gossip协议，Gossip协议是一个通信协议，一种传播消息的方式，也是一种最终一致性协议

https://mp.weixin.qq.com/s/vziFrW-DUhcVpHXjS4h_dw

2分类树和回归树

分类树就是面向分类的，回归树就是面向回归的，本文详细分析了分类树和回归树的区别 以及各自的用途

https://mp.weixin.qq.com/s/UbC0xPJrcQR-FuWL56t3_w

3Hadoop

Uber为了可靠且一致地找到数据的位置，本文作者及其同事开发了一个名为全局索引（Global Index）的组件。这个组件负责在 Hadoop 表中簿记（bookkeeping）并查找数据位置。它提供了高吞吐量、强一致性和水平可扩展能力，并帮助用户更好地更新 Hadoop 表中数以 PB 计的数据。

https://mp.weixin.qq.com/s/mhJ2Q30APlCP6_AkV6gG3w

4Spark Sql

本文以一个简单sql查询入题，详细介绍了目前sparksql做的所有优化点，非常详细，推荐大家一看。

https://mp.weixin.qq.com/s/O3jFljoZ8Cha0BiEv_vfKA

5Spark Streaming

spark structured streaming 介绍

https://mp.weixin.qq.com/s/xtBQQFfqZKCyETzWaN4AWA

6Spark Shuffle

本文主要讲作者在网易工作将近一年来关于Spark Shuffle方面所做的三点优化。

https://mp.weixin.qq.com/s/jl-5UpmkA4XXJebpSxW8_A

7Mongodb

本文讲述了MongoDB的内存是如何分配的，以及存储引擎缓存cacheSizeGB选项的配置，TCP连接及请求处理中的缓存参数设置

8Mysql

Mysql百万级数据量分页查询方法和思路，并提供了具体的实施sql

https://mp.weixin.qq.com/s/sBYxbLW7PrlHR9lQpxsWjQ

9ElasticSearch

ElasticSearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。滴滴从 2016 年 4 月开始组建团队，解决 ElasticSearch 在使用过程中遇到的性能问题。并且，随着业务体量的发展，滴滴构建了基于 ElasticSearch 的一站式搜索平台。

10Flink和Kafka

本文主要讲了flink sql与kafka结合的多种方式,flink与kafka整合是很常见的一种实时处理场景，尤其是kafka 0.11版本以后生产者支持了事务，使得flink与kafka整合能实现完整的端到端的仅一次处理

https://mp.weixin.qq.com/s/8-yn2ai-Jp5cOx4UftPCmw

11Redis

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。

https://mp.weixin.qq.com/s/8jmPwEZ7CPg0pVd79in_Tg

12池化技术

本文是基于 U 型结构的特征网络研究池化对显著性检测的改进

https://mp.weixin.qq.com/s/urgkUcu2ZWQMGPZdArWzYg

13Serverless

Google Trends 所显示的 3 年猛增 20 倍的“ Serverless ” 搜索量，可以佐证 Serverless 在整个行业中的火爆程度

https://mp.weixin.qq.com/s/V-lKDcpj4fLSeO-u9JnbPg

14开心一刻

随机函数可以帮你实现家庭和谐： Talk(){:top word(1)="恩！"; word(2)="好的！";word(3)="然后呢？";word(4)="有道理";i=random(4); say word(i) goto top;}

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞