大数据和云计算技术周报

写在第3期周报

Q1:老生常谈,上一期周报反响如何?

A1:第2期热度持续高涨,同学们纷纷用红包表达了真爱。特别致谢陈炯总对第2期周报的大红包。编辑部同学表示说“同学们都是真爱,早饭都帮忙解决了”。同学们,请继续打赏表达你们的真爱,支持我们坚持下去!

Q2: 本期有啥干货?

A2: 本期会给大家奉献上精彩的:NoSQL/NewSQL、Hadoop基础概念、kafka基础概念、应用和生态还有当前大热门AI相关内容。全是干货,希望大家喜欢。

Q3:周报有啥优化不?

A3:欢迎大家持续给我们提意见,我们会持续优化,以更好的内容奉献给支持我们的读者和社区的朋友。本期开始,根据魏同学的建议,将进一步缩短网址链接和优化二维码样式,方便大家阅读,希望大家喜欢!

Q4:文末有惊喜?

A4:嗯!

以下是正文,限于众编辑水平有限,不保证大家都喜欢。

1

AI近闻

1)Github年度报告盘点:TensorFlow无疑是最大赢家!

http://dwz.cn/73xirR

2)英伟达发布新一代旗舰显卡Titan V:Volta架构,售价3000美元

3)重磅人工智能报告:2017人工智能+内容生产研究报告.pdf

https://pan.baidu.com/s/1eR5i3Fc

2

应用和生态

1)刚刚结束的中国大数据大会(BDTC),部分PPT已经提供下载了:

http://dwz.cn/73wYYp

3

NoSQL/NewSQL

1)小媳妇终于转正,impala也终于升为顶级项目了。就是不知道在大压力下挂死,内存溢出等问题解决没?

2)HBase以其支持海量数据秒级查询而被逐渐使用,然而某些需要当做rowkey的字段由于其递增性,并非适合直接当做行键,主要原因在于当一个region达到阈值后,会分裂成两个region,而新插入的数据会直接插入到新的region,这样导致以前所有的Region处于“半饱”状态;同时,这些region会处于同一个Regionserver上,造成所谓的“热点”问题。这边文章为我们提供了如何设计rowkey的以避免数据倾斜的思路。

http://student-lp.iteye.com/blog/2309075

3)如何高效可靠地存储海量小文件。文件大小为几KB~几MB,文件总数据量上百PB,并且高速增长,并追求高存储效率,节省服务器成本、电力成本、数据存储成本等

http://dwz.cn/73xo29

4

Hadoop基础概念

5

kafka基础概念

6

精选FAQ

社区定期精选一些FAQ,分享给更多的人,本期推关于SSD存储寿命的问题:

007

文末彩蛋,开心一刻

致谢:

刘涛、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171211B02GAB00?refer=cp_1026

扫码关注云+社区