大数据和云计算技术周报（第111期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。 本期会给大家奉献上精彩的：HDFS、AI、MongoDB、分布式数据库、数据库原理、redis、Kylin、Zookeeper、HBase。全是干货，希望大家喜欢！！！

1HDFS

本文讲述了 HDFS Router-based Federation 的架构和特性。

https://mp.weixin.qq.com/s/ZnstUOGa290bd83siJAnWg

2AI

本文讲解的是孙祥学老师关于AI技术在视频智能识别和分析中的应用，以及实际落地过程中遇到的挑战以及解决办法的分享。

https://mp.weixin.qq.com/s/mKTFioUH6GRSu5QOIhhMoQ

3MongoDB

本文讲述了MongoDB的索引类型，索引的属性，索引的使用及排序规则，以及覆盖查询、交叉索引和索引的限制及注意事项；

http://www.mongoing.com/archives/26867

4MySQL

对于单表20亿， 在MySQL运维，说真的这块目前涉及得比较少，也基本没什么经验，但对于InnoDB单表Insert 如果内存大于数据情况下，可以维持在10万-15万行写入。但很多时间我们接受的项目还是数据超过内存的。这里使用XeLabs TokuDB做一个测试。

https://mp.weixin.qq.com/s/nky5AOuQhgj60ljTxlV_tw

mysql出现死锁怎么破？本篇从死锁的背景和日志分析来说说

https://mp.weixin.qq.com/s/KX0RoDzi1otedvgp9wWQRw

5Hbase

本文介绍了Filter和FilterList的原理和使用姿势

https://mp.weixin.qq.com/s/c8L5Uu7IG_H6uGK2ytgd_A

6ZooKeeper

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

Curator 是 Netflix 公司开源的一套 Zookeeper 客户端框架，解决了很多 Zookeeper 客户端非常底层的细节开发工作，包括连接重连、反复注册 Watcher 和 NodeExistsException 异常等

https://mp.weixin.qq.com/s/05RPa9RBD1FnHWBE4B2i2Q

7redis

redis的底层数据结构 附有源码

https://mp.weixin.qq.com/s/gRtiSNDCuS0c8nF_Q8Tv9A

8分布式数据库

分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。

https://mp.weixin.qq.com/s/rRpTvobwsk-2YAPX5ulORg

9kylin

当下，国内传统企业已经进入到了数字化转型的关键阶段，以金融、银行为代表的国内传统企业，正面临着业务渠道急需拓宽、用户体量飞速增长与传统技术架构之间的矛盾

https://mp.weixin.qq.com/s/ZKYPslHp3wFCcBxPy512yg

10开心一刻

希望大家都保持学习 掌握前线的技术

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞