大数据和云计算技术周报（第51期）

写在第51期

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：分布式、实时数据产品实践、POLARDB、对话式交互技术、数据安全体系、HBase、spark streaming、负载均衡。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

１

分布式

①从理论上来说，给缓存设置过期时间，是保证最终一致性的解决方案。这种方案下，我们可以对存入缓存的数据设置过期时间，所有的写操作以数据库为准，对缓存操作只是尽最大努力即可。也就是说如果数据库写成功，缓存更新失败，那么只要到达过期时间，则后面的读请求自然会从数据库中读取新值然后回填缓存。

https://mp.weixin.qq.com/s/vOjDG8aH45o5vVXXm0v78g

②本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。

https://mp.weixin.qq.com/s/shliILOXxfXCCW0uopLsQg

2

实时数据产品实践

本文将基于美团点评大交通实时数据产品，从面临的挑战、总体解决方案、数据设计架构、后台设计架构等几个方面，详细介绍实时数据系统的整体建设思路。

http://itindex.net/detail/58411-%E5%AE%9E%E6%97%B6-%E6%95%B0%E6%8D%AE-%E4%BA%A7%E5%93%81

3

POLARDB

本文根据蔡松露老师在2018年5月10日【第九届中国数据库技术大会(DTCC)】现场演讲内容整理而成。从架构、产品设计、未来工作等方面全方位阐述下一代云原生数据库POLARDB

https://mp.weixin.qq.com/s/ppxhyV6eluakwd8fn_iMYw

4

对话式交互技术

我们每个人都希望有一个类似"贾维斯"得力助手。可以通过海量的分析，智能的对话，特殊的理解和方案给予，给钢铁侠输出最最合理，安全可行优秀的方案。嗯，有点儿入戏了。

本文来自阿里巴巴智能语音交互团队，文章从语音识别，语音理解，对话管理，命令执行等方面，介绍了对话式交互技术，文章篇幅较大，但是通俗易懂值得一阅。

https://mp.weixin.qq.com/s/A4r01mV-X8CTJy3vPa9BPw

5

数据安全体系

数据安全对互联网企业的重要性不言而喻，这篇文章纯干货分享，值得一读

https://mp.weixin.qq.com/s/y89__2zjZavVo3Zq_E3GrA

6

HBase

本文来自于阿里巴巴技术专家孟庆义在第九届数据库大会对阿里HBase的数据管道设施实践与演进进行了讲解。主要从数据导入场景、 HBase Bulkload功能、HImporter系统、数据导出场景、HExporter系统这些部分进行了讲述。

https://mp.weixin.qq.com/s/QkokRBRsD7sQSMF8zVGO3A

7

spark streaming

单元测试是阻挡 bug 的第一道防线，不写单元测试的程序员不是一个合格的程序员，有了单元测试后，妈妈再也不用担心我进行重构了，今天我来谈下如何对 spark streaming 来进行单元测试

https://mp.weixin.qq.com/s/yY9YrBrV5ic7A2SzuBT-Cg

8

负载均衡

本章把负载均衡和代理基本原理给予了详细的介绍。基本囊括了这块大部分的概念。推荐阅读。

https://mp.weixin.qq.com/s/Nxv6bBZyHY168AsRMGva6g

009

开心一刻

作业做了很久，顺手打开收音机，一个温柔的声音传出：“如果肤色粉红，脸上的绒毛细嫩柔软，那么说明很健康……”

听到这里，忍不住摸了自己的脸，对镜顾盼，再笑一笑，样子健康可爱。

这时，又听播音员说道：“好，听众朋友，这次我们的《养猪知识讲座》就到这里。”

致谢：

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉