大数据和云计算技术周报（第112期)

大数据和云计算技术

发布于 2019-07-23 10:45:20

7340

发布于 2019-07-23 10:45:20

导语
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。本期会给大家奉献上精彩的：HBase、AI、MongoDB、实时计算、Spark、redis、Kylin、Brooklin、HBase。全是干货，希望大家喜欢！！！

1ClickHouse

ClickHouse 优秀的读写处理性能，丰富强大的函数支持，以及灵活的 SQL 查询，支撑了微博广告监控系统的百亿流量请求和复杂业务需求。

https://mp.weixin.qq.com/s/lx5BaREb0uVXwzTWJdWrcg

2实时计算

“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

本文主要讲述知乎的实时数仓实践以及架构的演进.

https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A

3HBase

本文讲解了京东7000+节点HBase集群平台化的演进之路。

https://mp.weixin.qq.com/s/5WaeCXk0BILC7iJ3Q44bmw

本文主要讲解了通过hash或md5对HBase RK进行散列化处理时如何预建分区的方法，并提供了创建split计算器，用于从抽样数据中生成一个比较合适的splitKeys用于创建预分区，可以直接拿来用的。

https://blog.csdn.net/liyonghui123/article/details/84701105?from=timeline

4Spark

本文将探讨我们在计算平台上的选型，为什么选择基于Spark构建计算平台，我们是如何使用Spark的，以及基于此又做了什么更多的工作。

巨人的肩膀，站的更远 https://mp.weixin.qq.com/s/N4iLpQEsXuD0uVtmB6XQlw

5MongoDB

本文讲述了MongoDB的compact命令的作用，对读写操作的影响，以及WiredTiger存储引擎如何执行compact，预估compact回收空间；