大数据和云计算技术周报(第51期)

写在第51期

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

本期会给大家奉献上精彩的:分布式、实时数据产品实践、POLARDB、对话式交互技术、数据安全体系、HBase、spark streaming、负载均衡。全是干货,希望大家喜欢!!!

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!

以下是正文,限于众编辑水平有限,不保证大家都喜欢。

分布式

①从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案。这种方案下,我们可以对存入缓存的数据设置过期时间,所有的写操作以数据库为准,对缓存操作只是尽最大努力即可。也就是说如果数据库写成功,缓存更新失败,那么只要到达过期时间,则后面的读请求自然会从数据库中读取新值然后回填缓存。

https://mp.weixin.qq.com/s/vOjDG8aH45o5vVXXm0v78g

②本文是一篇科普性质的文章,希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。

https://mp.weixin.qq.com/s/shliILOXxfXCCW0uopLsQg

2

实时数据产品实践

本文将基于美团点评大交通实时数据产品,从面临的挑战、总体解决方案、数据设计架构、后台设计架构等几个方面,详细介绍实时数据系统的整体建设思路。

http://itindex.net/detail/58411-%E5%AE%9E%E6%97%B6-%E6%95%B0%E6%8D%AE-%E4%BA%A7%E5%93%81

3

POLARDB

本文根据蔡松露老师在2018年5月10日【第九届中国数据库技术大会(DTCC)】现场演讲内容整理而成。从架构、产品设计、未来工作等方面全方位阐述下一代云原生数据库POLARDB

https://mp.weixin.qq.com/s/ppxhyV6eluakwd8fn_iMYw

4

对话式交互技术

我们每个人都希望有一个类似"贾维斯"得力助手。可以通过海量的分析,智能的对话,特殊的理解和方案给予,给钢铁侠输出最最合理,安全可行优秀的方案。嗯,有点儿入戏了。

本文来自阿里巴巴智能语音交互团队,文章从语音识别,语音理解,对话管理,命令执行等方面,介绍了对话式交互技术,文章篇幅较大,但是通俗易懂值得一阅。

https://mp.weixin.qq.com/s/A4r01mV-X8CTJy3vPa9BPw

5

数据安全体系

数据安全对互联网企业的重要性不言而喻,这篇文章纯干货分享,值得一读

https://mp.weixin.qq.com/s/y89__2zjZavVo3Zq_E3GrA

6

HBase

本文来自于阿里巴巴技术专家孟庆义在第九届数据库大会对阿里HBase的数据管道设施实践与演进进行了讲解。主要从数据导入场景、 HBase Bulkload功能、HImporter系统、数据导出场景、HExporter系统这些部分进行了讲述。

https://mp.weixin.qq.com/s/QkokRBRsD7sQSMF8zVGO3A

7

spark streaming

单元测试是阻挡 bug 的第一道防线,不写单元测试的程序员不是一个合格的程序员,有了单元测试后,妈妈再也不用担心我进行重构了,今天我来谈下如何对 spark streaming 来进行单元测试

https://mp.weixin.qq.com/s/yY9YrBrV5ic7A2SzuBT-Cg

8

负载均衡

本章把负载均衡和代理基本原理给予了详细的介绍。基本囊括了这块大部分的概念。推荐阅读。

https://mp.weixin.qq.com/s/Nxv6bBZyHY168AsRMGva6g

009

开心一刻

作业做了很久,顺手打开收音机,一个温柔的声音传出:“如果肤色粉红,脸上的绒毛细嫩柔软,那么说明很健康……”

听到这里,忍不住摸了自己的脸,对镜顾盼,再笑一笑,样子健康可爱。

这时,又听播音员说道:“好,听众朋友,这次我们的《养猪知识讲座》就到这里。”

致谢:

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2018-05-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美团技术团队

美团即时物流的分布式系统架构设计

美团外卖已经发展了五年,即时物流探索也经历了3年多的时间,业务从零孵化到初具规模,在整个过程中积累了一些分布式高并发系统的建设经验。最主要的收获包括两点:

1592
来自专栏无原型不设计

普通程序员该如何进阶为全栈工程师?

如何成为一名全栈工程师(full stack developer)?互联网最热的话题之一。LinkedIn, Facebook上标榜自己是全栈工程师的人也越来...

6085
来自专栏用户2442861的专栏

游戏项目开发经验分享

http://blog.csdn.net/cyblueboy83/article/details/7905862

1601
来自专栏SAP最佳业务实践

从SAP最佳业务实践看企业管理(15)-CRM-活动管理

针对不同销售阶段、不同角色的任务的执行,通过活动管理来体现 C65 活动管理 本文介绍了用于创建活动和任务的 CRM 活动管理业务情景。 本文逐步向您展示了活...

3204
来自专栏云计算D1net

云计算服务提供商不能会告诉你的秘密

云计算具有成本、资源扩展、弹性大等优势,但任何事物犹如硬币具有两面性,云计算也有一些你必须知道的劣势,服务提供商是想要把你所在他们的产品上,但并没有强迫你维持忠...

3383
来自专栏非著名程序员

处境艰难的 App 开发者们如何自救

这是我朋友的公司不再研发原生 App 的原因——在网页端创业简单的多。怎么会这样呢?基于浏览器的网页端生态系统已经存在了 20 多年,而 App 系统却仅存世 ...

2257
来自专栏技术翻译

讨论软件架构的30个共同原则

想象一下飞越架构评论。一位建筑师走进来,看着,通过他的双筒望远镜凝视着他。他提供的评论通常过于通用或脱离背景。评论经常遭到震耳欲聋的沉默或激动人心的争论。如果有...

2033
来自专栏祝威廉

ELK的崛起(Rise of the ELK)

忽如一夜春风来,千树万树梨花开,恍惚之间,ELK亦是遍地开花,甚至提供类似ELK解决方案的专业公司数量已然可观。

1072
来自专栏斑斓

以RAID分析作为架构驱动力

寻找架构驱动力 人类自开始学会以智慧洗亮观察世界的双眼之后,就明白观察事物不能浅尝辄止停留在表面现象,而要去看透本质。通过本质规律去建模世界,才能以“一”推演万...

3344
来自专栏java技术学习之道

程序员涨薪必备技能(1-5年必看!!!)

1022

扫码关注云+社区

领取腾讯云代金券