云​大数据和计算技术周报(第47期)

写在第47期

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

本期会给大家奉献上精彩的:分布式、Google AI、HBase、gRPC、数据采集平台架构分析、实时索引、Hadoop YARN、Spark。全是干货,希望大家喜欢!!!

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!

以下是正文,限于众编辑水平有限,不保证大家都喜欢。

分布式

①结合NoSQL与NewSQL的差异,从纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点

https://mp.weixin.qq.com/s/HPuiCn9oyB8itsqMcXB_1w

②分布式架构有着海量、成本、稳定、速度的优势,但它也不是银弹,分布式改造是一个较为复杂的工程,既需要熟悉业务,能够设计出整个系统的业务架构,按照业务架构来进行垂直拆分,又需要熟悉数据模型,区分“流水型”、“状态型”、“配置型”数据,根据不同类型数据的特点将它他按用户维度进行拆分,还需要熟悉分布式中间件的运用。分布式中间件在整个分布式架构中起着至关重要的作用,将技术构架与业务结合起来。

https://mp.weixin.qq.com/s/Kw95Vsz9Exx9VC5kTMvISg

2

Google AI

也许,现在和您进行电话沟通的,不一定是真的“人”。5月8日,谷歌召开一年一度的I/O大会,谷歌CEO这次祭出的王牌AI让世界都瞠目结舌

https://mp.weixin.qq.com/s/c6aop608QmEkM37CUmAgBA

3

HBase

2018年4月29号Apache HBase PMC主席Michael Stack宣布了HBase 2.0版本已正式Release的消息,引起了强大多反响,用“脱胎换骨”一词来形容此次更新都不为过,让我们一睹此次HBase2.0更新的关键特性。

https://mp.weixin.qq.com/s/qkG7tBufvvh21Jp8Q465rw

4

gRPC

就是一种rpc 。其实我也是刚刚了解。这个基于http2.0. 据说比较快。下面这些是我之前搜过的。你可以了解下。 于Http2.0标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好,更省电和节省空间占用

可以一次性的在一个 .proto 文件中定义服务并使用任何支持它的语言去实现客户端和服务器,反过来,它们可以在各种环境中,从Google的服务器到你自己的平板电脑- gRPC 帮你解决了不同语言间通信的复杂性以及环境的不同.使用 protocol buffers 还能获得其他好处,包括高效的序列号,简单的 IDL 以及容易进行接口更新

https://blog.csdn.net/chenqiuge1984/article/details/80127749

5

数据采集平台架构分析

我们今天就来看看当前可用的六款数据采集的产品,重点关注它们是如何做到高可靠,高性能和高扩展。

https://mp.weixin.qq.com/s/QIosof7pi5Qa8-RbsCUxAg

6

实时索引

在线广告是互联网行业常见的商业变现方式。从工程角度看,广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团点评的搜索广告系统为蓝本,与读者一起探讨广告系统的工程奥秘。

https://mp.weixin.qq.com/s/y6ntgPxTaLFBJDn3usBd1g

7

Hadoop YARN

本文从应用工作流程到资源调度模型对Hadoop yarn进行了比较详细的介绍,并在代码层面对Application的框架核心实现细节进行了诠释

https://blog.csdn.net/bingduanlbd/article/details/51880019

8

Spark

本文利用spark大数据技术的应用,整合公司内外用户服务相关系统和数据,通过基于用户画像的建模方法,运用机器学习和数据建模技术,为用户提供个性化、定制化的金融和资讯产品。

http://www.talkwithtrend.com/Article/220461

致谢:

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉

欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2018-05-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

Dropbox存储架构:扩展至EB级别的实践

多年前,我们将 Dropbox 称为“魔力口袋”,因为它设计的初衷就是让用户将所有文件放在一个顺手的地方。一路发展下来,Dropbox 已经从一个简单的东西发展...

2836
来自专栏钱塘大数据

大数据处理过程之核心技术ETL详解

核心技术架构挑战: 1、对现有数据库管理技术的挑战。 2、经典数据库技术并没有考虑数据的多类别(variety)、SQL(结构化数据查询语言),在设计的一开...

5446
来自专栏Danny的专栏

大神级程序员和普通程序员的区别

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

1142
来自专栏云计算D1net

开始云征程:迁移计划要先行

当把应用迁往云时,我们不能只是把应用往云中一放就奢求它们能够在其中正常运行了。制定一个完备的迁移计划可确保您的应用运行表现良好,并具有较高的成本效益。 云迁移并...

3435
来自专栏SDNLAB

POF:更理想的SDN?

OpenFlow协议实现的SDN目前已经得到了应用和推广,但OpenFlow并不完美,OpeFlow交换机还不能提供更好的可编程能力。POF作为一种新的南向协议...

4125
来自专栏Java技术栈

DevOps到底是什么鬼?DevOps介绍及工具推荐。

什么是DevOps DevOps是Development和Operations的组合,是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营...

3745
来自专栏WeTest质量开放平台团队的专栏

WeTest弱网络测试,再难搭的网络也只要5分钟!

? 玩游戏的朋友相信都极其痛恨下述情况,小助手将其归类为“弱网络五大恨”! 网络连接突然停滞,无提示! 购买商品网络崩溃,打水漂! 断线情况异常频繁,难恢复!...

1563
来自专栏WeTest质量开放平台团队的专栏

建一座安全的“天空城” :揭秘腾讯 WeTest 如何与祖龙共同挖掘手游安全漏洞

《九州天空城3D》上线至今,长期稳定在 APP Store 畅销排行的前五,本文将介绍腾讯 WeTest 手游安全团队在游戏上线前为《九州天空城3D》挖掘安全漏...

1680
来自专栏韩伟的专栏

如何提高程序员的生产率(下)

目录 3. 开发过程... 12 4. 架构设计... 20 5. 管理激励... 23 三、 开发过程 沟通 软件通常都需要经过很多人和很多次的沟通才能生产出...

3384
来自专栏机器之心

观点 | PHP or Python如何选择?或许你应该考虑一下这三个问题

选自Hackernoon 机器之心编译 参与:黄小天、李亚洲 2017 年可谓是网页应用与 API 之年,开发者不用每次重新发明轮子,而是利用脚手架和第三方库就...

3168

扫码关注云+社区