专栏首页大数据和云计算技术大数据和云计算技术周报(第51期)

大数据和云计算技术周报(第51期)

写在第51期

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

本期会给大家奉献上精彩的:分布式、实时数据产品实践、POLARDB、对话式交互技术、数据安全体系、HBase、spark streaming、负载均衡。全是干货,希望大家喜欢!!!

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!

以下是正文,限于众编辑水平有限,不保证大家都喜欢。

分布式

①从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案。这种方案下,我们可以对存入缓存的数据设置过期时间,所有的写操作以数据库为准,对缓存操作只是尽最大努力即可。也就是说如果数据库写成功,缓存更新失败,那么只要到达过期时间,则后面的读请求自然会从数据库中读取新值然后回填缓存。

https://mp.weixin.qq.com/s/vOjDG8aH45o5vVXXm0v78g

②本文是一篇科普性质的文章,希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。

https://mp.weixin.qq.com/s/shliILOXxfXCCW0uopLsQg

2

实时数据产品实践

本文将基于美团点评大交通实时数据产品,从面临的挑战、总体解决方案、数据设计架构、后台设计架构等几个方面,详细介绍实时数据系统的整体建设思路。

http://itindex.net/detail/58411-%E5%AE%9E%E6%97%B6-%E6%95%B0%E6%8D%AE-%E4%BA%A7%E5%93%81

3

POLARDB

本文根据蔡松露老师在2018年5月10日【第九届中国数据库技术大会(DTCC)】现场演讲内容整理而成。从架构、产品设计、未来工作等方面全方位阐述下一代云原生数据库POLARDB

https://mp.weixin.qq.com/s/ppxhyV6eluakwd8fn_iMYw

4

对话式交互技术

我们每个人都希望有一个类似"贾维斯"得力助手。可以通过海量的分析,智能的对话,特殊的理解和方案给予,给钢铁侠输出最最合理,安全可行优秀的方案。嗯,有点儿入戏了。

本文来自阿里巴巴智能语音交互团队,文章从语音识别,语音理解,对话管理,命令执行等方面,介绍了对话式交互技术,文章篇幅较大,但是通俗易懂值得一阅。

https://mp.weixin.qq.com/s/A4r01mV-X8CTJy3vPa9BPw

5

数据安全体系

数据安全对互联网企业的重要性不言而喻,这篇文章纯干货分享,值得一读

https://mp.weixin.qq.com/s/y89__2zjZavVo3Zq_E3GrA

6

HBase

本文来自于阿里巴巴技术专家孟庆义在第九届数据库大会对阿里HBase的数据管道设施实践与演进进行了讲解。主要从数据导入场景、 HBase Bulkload功能、HImporter系统、数据导出场景、HExporter系统这些部分进行了讲述。

https://mp.weixin.qq.com/s/QkokRBRsD7sQSMF8zVGO3A

7

spark streaming

单元测试是阻挡 bug 的第一道防线,不写单元测试的程序员不是一个合格的程序员,有了单元测试后,妈妈再也不用担心我进行重构了,今天我来谈下如何对 spark streaming 来进行单元测试

https://mp.weixin.qq.com/s/yY9YrBrV5ic7A2SzuBT-Cg

8

负载均衡

本章把负载均衡和代理基本原理给予了详细的介绍。基本囊括了这块大部分的概念。推荐阅读。

https://mp.weixin.qq.com/s/Nxv6bBZyHY168AsRMGva6g

009

开心一刻

作业做了很久,顺手打开收音机,一个温柔的声音传出:“如果肤色粉红,脸上的绒毛细嫩柔软,那么说明很健康……”

听到这里,忍不住摸了自己的脸,对镜顾盼,再笑一笑,样子健康可爱。

这时,又听播音员说道:“好,听众朋友,这次我们的《养猪知识讲座》就到这里。”

致谢:

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉

本文分享自微信公众号 - 大数据和云计算技术(jiezhu2007),作者:社区编辑部

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据和云计算技术周报(第76期)

    大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

    大数据和云计算技术
  • 大数据与云计算技术周报(第150期)

    影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本...

    大数据和云计算技术
  • 大数据与云计算技术周报(第140期)

    本文主结合作者近千万级开发实战经验,和大家一起深入探讨一下Elasticsearch 索引设计,历时两周+的时间完成此文,干货满满,避免大家掉坑。

    大数据和云计算技术
  • 大数据和云计算技术周报(第57期)

    “大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

    大数据和云计算技术
  • 大数据和云计算技术周报(第92期)

    Netty的内存管理其实做的很精细,对HBase的Offheap化设计有不少启发。目前HBase的内存分配器至少有3种。可以预期的是,HBase2.0性能必定是...

    大数据和云计算技术
  • 大数据与云计算技术周报(第140期)

    本文主结合作者近千万级开发实战经验,和大家一起深入探讨一下Elasticsearch 索引设计,历时两周+的时间完成此文,干货满满,避免大家掉坑。

    大数据和云计算技术
  • ​大数据和云计算技术周报(第41期)

    “大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

    大数据和云计算技术
  • 大数据和云计算技术周报(第53期)

    “大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

    大数据和云计算技术
  • 大数据与云计算技术周报(第139期)

    ANTLR是一款功能强大的语法分析器生成器,可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Antlr...

    大数据和云计算技术
  • 大数据和云计算技术周报(第134期)

    本文主要对Spark读取HBase Snapshort表进行了相关优化,剖析了部分源码,对部分源码进行了重写与改造,最终实现了HBase表的高效率读

    大数据和云计算技术

扫码关注云+社区

领取腾讯云代金券