大数据和云计算技术周报(第55期)

写在第55期

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

本期会给大家奉献上精彩的:HBase、Spark、推荐算法、ET农业大脑、Hive、缓存架构、数据安全、LVS、Nginx、HAProxy、Alluxio、MongoDB。全是干货,希望大家喜欢!!!

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!

以下是正文,限于众编辑水平有限,不保证大家都喜欢。

HBase

①任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。

https://www.cnblogs.com/yingjie2222/p/6084255.html

②本文介绍了Accordion的基本原理,配置,性能增益以及内存压缩算法的一些细节

https://mp.weixin.qq.com/s/QeVBS3RMUrLLCJJka-hFnA

③基于时间线一致的高可用读(Timeline-consistent High Available Reads),又称Region replica,为HBase带来了高可用读的能力。本文主要介绍region replica这个功能设计的背景,技术细节和使用方法,同时会仔细分析这个功能的优缺点并给出使用建议。

https://mp.weixin.qq.com/s/pEP3F6bwxbfkA-hRLfZDtQ

2

Spark

①Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉.

https://m.aliyun.com/yunqi/articles/598484

②本文主要为作者在搭建使用计算平台的过程中,对于 Spark 的理解,希望能给读者一些学习的思路

https://mp.weixin.qq.com/s/lGoQekpLgoJmPEnmWh4tXQ

3

推荐算法

本文分别介绍了推荐系统、知识图谱、以及知识图谱在推荐系统中的应用价值。作为推荐算法的辅助信息,知识图谱的引入可以极大地提高推荐系统的精准性、多样性和可解释性。

https://mp.weixin.qq.com/s/X-TIUwVje_2JgY3QDkqVpQ

4

ET农业大脑

阿里云发布ET农业大脑,已经将AI领域扩展到农业领域中。传统的农业也面临着AI大潮。

https://mp.weixin.qq.com/s/1cWKXLTGEftCQvwPX38OpA

5

Hive

本文介绍了Hive的基本概念、架构、运行机制、与传统数据库关系对比、下载安装与配置以及几个重要的DDL操作,用简洁的语言和丰富的图文形式向读者介绍了Hive的入门方法。

https://blog.csdn.net/qq_38344394/article/details/80604047

6

缓存架构

微博日活跃用户1.6亿+,每日访问量达百亿级,面对庞大用户群的海量访问,良好的架构且不断改进的缓存体系具有非常重要的支撑作用。

https://mp.weixin.qq.com/s/YxGeisz0L9Ja2dwsiZz01w

7

数据安全

本文从精准营销这一典型大数据应用场景剖析了大数据的数据安全和算法的应用

https://mp.weixin.qq.com/s/jTv9kWDKcCSGx6eFgZZYTA

8

LVS、Nginx、HAProxy

VS、Nginx、HAProxy 是目前使用最广泛的三种软件负载均衡软件。这篇文章详细接受了这几种不同的负载均衡的方式。

https://mp.weixin.qq.com/s/bgRmPJRg-n2gpkrzvZgQWA

9

Alluxio

Alluxio统一了底层不同存储系统,并对于深度学习框架提供如同本地文件夹一样的数据访问方式。利用Alluxio,数据科学家可以在不折中性能的情况之下,便捷地访问各种存底层储系统中的数据。

https://mp.weixin.qq.com/s/xx3pePUreizo0_boILt25g

10

MongoDB

MongoDB的BSON存储格式的特性,BSON存储结构逻辑;Aggregation统计分析例子;ObjectId对象的结构。

https://www.jianshu.com/p/93781163bef4

致谢:

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2018-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏极乐技术社区

小程序一周报 | 小程序广告组正式启动内测 / 企业微信与微信消息互通开启内测

1162
来自专栏EAWorld

老司机谈DevOps 2.0:引子

译者的话: 你真的懂DevOps么?你知道怎么就持续集成持续部署又微服务了么,用时下流行的工具,实践DevOps怎么搞……跟着我,听老司机818 DevOps的...

2875
来自专栏BestSDK

Android频发SDK窃取数据事件,注意你手机里的金融类APP!

其行为也介于黑白之间,从影响用户数来说远超一般的漏洞利用类攻击。尤其对于接入SDK数量最多的金融类APP而言,潜伏着巨大隐患,亟需提高警惕。

1440
来自专栏TEG云端专业号的专栏

黄宇:腾讯计费——亿万级大促活动自动化保障体系

腾讯计费平台是产品端到端在线交易平台,其核心是帮助用户与产品安全、便捷的完成支付和收款,在交易过程中帮助产品盈收最大化。平台承载了公司每天数亿收入大盘,为180...

1713
来自专栏安全领域

物联网:数据淘金——从数据中挖掘有效信息

如今是信息时代,得数据者得天下。然而,只是“有”数据还不够,数据的“准确性”和数据的“分析”也是至关重要的。爱因斯坦也说过:“能用的不一定有用,有用的也不一定能...

4929
来自专栏SAP最佳业务实践

从SAP最佳业务实践看企业管理(157)-条码

条码 产品管理能力是现代企业经营实力的重要标志之一。随着技术的发展和市场竞争的日益激烈,越来越多的生产企业要求对其产品的生产过程和物流、销售、售后服务等过程进行...

2898
来自专栏逍遥剑客的游戏开发

Nebula3竟然秘密更新了

1395
来自专栏企鹅号快讯

小程序再添新入口,开放微信外部流量入口,QQ浏览器直接打开小程序

最近小程序的动作不断,就在今天,小程序可以在QQ浏览器里打开,首页入口也即将开放!这一年以来,小程序频繁更新了将近 100 次,现在又在QQ浏览器上面增加了新的...

3768
来自专栏CDA数据分析师

大数据吹了这么久为什么还落不了地?就因为这9点

尽管在Hadoop与NoSQL部署方面做足了准备,同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。 有时候一艘巨轮的侧方出现了破洞,但业界...

2146
来自专栏风火数据

阻碍大数据发展的九大痛点(个人观点)

尽管在Hadoop与NoSQL部署方面做足了准备,同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。

1113

扫码关注云+社区