云​大数据和计算技术周报（第47期）

写在第47期

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：分布式、Google AI、HBase、gRPC、数据采集平台架构分析、实时索引、Hadoop YARN、Spark。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

１

分布式

①结合NoSQL与NewSQL的差异，从纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点

https://mp.weixin.qq.com/s/HPuiCn9oyB8itsqMcXB_1w

②分布式架构有着海量、成本、稳定、速度的优势，但它也不是银弹，分布式改造是一个较为复杂的工程，既需要熟悉业务，能够设计出整个系统的业务架构，按照业务架构来进行垂直拆分，又需要熟悉数据模型，区分“流水型”、“状态型”、“配置型”数据，根据不同类型数据的特点将它他按用户维度进行拆分，还需要熟悉分布式中间件的运用。分布式中间件在整个分布式架构中起着至关重要的作用，将技术构架与业务结合起来。

https://mp.weixin.qq.com/s/Kw95Vsz9Exx9VC5kTMvISg

2

Google AI

也许，现在和您进行电话沟通的，不一定是真的“人”。5月8日，谷歌召开一年一度的I/O大会，谷歌CEO这次祭出的王牌AI让世界都瞠目结舌

https://mp.weixin.qq.com/s/c6aop608QmEkM37CUmAgBA

3

HBase

2018年4月29号Apache HBase PMC主席Michael Stack宣布了HBase 2.0版本已正式Release的消息，引起了强大多反响，用“脱胎换骨”一词来形容此次更新都不为过，让我们一睹此次HBase2.0更新的关键特性。

https://mp.weixin.qq.com/s/qkG7tBufvvh21Jp8Q465rw

4

gRPC

就是一种rpc 。其实我也是刚刚了解。这个基于http2.0. 据说比较快。下面这些是我之前搜过的。你可以了解下。 于Http2.0标准设计，带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好，更省电和节省空间占用

可以一次性的在一个 .proto 文件中定义服务并使用任何支持它的语言去实现客户端和服务器，反过来，它们可以在各种环境中，从Google的服务器到你自己的平板电脑- gRPC 帮你解决了不同语言间通信的复杂性以及环境的不同.使用 protocol buffers 还能获得其他好处，包括高效的序列号，简单的 IDL 以及容易进行接口更新

https://blog.csdn.net/chenqiuge1984/article/details/80127749

5

数据采集平台架构分析

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

https://mp.weixin.qq.com/s/QIosof7pi5Qa8-RbsCUxAg

6

实时索引

在线广告是互联网行业常见的商业变现方式。从工程角度看，广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团点评的搜索广告系统为蓝本，与读者一起探讨广告系统的工程奥秘。

https://mp.weixin.qq.com/s/y6ntgPxTaLFBJDn3usBd1g

7

Hadoop YARN

本文从应用工作流程到资源调度模型对Hadoop yarn进行了比较详细的介绍，并在代码层面对Application的框架核心实现细节进行了诠释

https://blog.csdn.net/bingduanlbd/article/details/51880019

8

Spark

本文利用spark大数据技术的应用，整合公司内外用户服务相关系统和数据，通过基于用户画像的建模方法，运用机器学习和数据建模技术，为用户提供个性化、定制化的金融和资讯产品。

http://www.talkwithtrend.com/Article/220461

致谢：

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉