大数据和云计算技术周报（第91期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。 本期会给大家奉献上精彩的：redis、Spark、算法、Hbase、kylin和phoneix、Spark与Alluxio、实时数仓、Mysql索引、Redis、LOT。全是干货，希望大家喜欢！！！ #大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！ #大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。 特别提醒，文末有惊喜！ 以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开 请用二维码 谢谢）

1HBase

文章首先回顾了 HBase 的数据模型和数据层级结构，对数据的每个层级的作用和构架均进行了详细阐述；随后介绍了数据写入和读取的详细流程；最后介绍了老版本到新版本 Region 查找的演进。

https://mp.weixin.qq.com/s/xHQfBxi53NfkQzRM7e75fg

2spark

当下，企业越来越重视数据资产的价值，并以此作为提高行业竞争力的重要支撑。海量、多源的数据处理是实现其数据价值的必备能力。以Hadoop/Spark为核心的大数据处理技术已经成为现代企业数据平台的标准。为应对业务用户对工作负载自助分析的期望，eBay大数据团队开发出一套面向管理员和业务用户的Workload Analytics System

https://mp.weixin.qq.com/s/nitBi7cvQZCnCv0RMFZnNw

3算法

在过去，很多巧妙的计算机算法设计，改变了我们的计算技术。通过操作标准计算机中提供的中间运算符，可以产生很多的高效函数。这些函数导致了计算机程序的复杂性和多样性，这也是今天计算机时代快速发展的重要原因。我们列举了一些算法，它们改变了我们的计算机使用。

https://mp.weixin.qq.com/s/m6mMl9P-vrTmAzKMCTg7Jg

4kylin和phoneix

详细对比了kylin和phoneix的能力。

https://mp.weixin.qq.com/s/CQ9nlO14Do0Q0_Y6QU9jBw

5Hbase

本文首先对 HBase 做简单的介绍，包括其整体架构、依赖组件、核心服务类的相关解析。再重点介绍 HBase 读取数据的流程分析，并根据此流程介绍如何在客户端以及服务端优化性能，同时结合有赞线上 HBase 集群的实际应用情况，将理论和实践结合

https://mp.weixin.qq.com/s/cj-HJNfZ2O7kCAFNL4l7Eg

6Spark与Alluxio

本文讲述了以Apache Spark与Alluxio为核心的新型大数据技术生态体系来构建中国联通大数据平台。

https://mp.weixin.qq.com/s/VipVaZ4T_7_hC_3fpfGQVw

7实时数仓

数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A

8Mysql索引

从底层的索引存储结构来讲B树索引，值得一看。

https://mp.weixin.qq.com/s/iysNHTVn-Ch8-wBIAYjNMA

9LOT

构建智能家居的神器HomeAssistant

智能家居开源系统是一款基于 Python 的智能家居开源系统，支持众多品牌的智能家居设备，可以轻松实现设备的语音控制、自动化等。

。

https://mp.weixin.qq.com/s/PRGaLpO975R8fUn7UVmTdQ

10redis

redis是单进程单线程模型,keys和smembers这种命令可能会阻塞服务器,所以出现了scan系列的命令,通过返回一个游标，可以增量式迭代.本文介绍了scan 命令的实现原理。

https://segmentfault.com/a/1190000018218584

11开心一刻

一个测试工程师走进酒吧，要了一杯啤酒，要了0杯啤酒，要了999999999杯啤酒，要了一只蜥蜴，要了-1杯啤酒，要了一个sfdeljknesv，酒保从容应对，测试工程师很满意。接下来，一名顾客来到了同一个酒吧，问厕所在哪，酒吧顿时起了大火，然后整个建筑坍塌了。

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞