大数据和云计算技术周报(第58期)

写在第58期

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

本期会给大家奉献上精彩的:职场规划、TSDB、HBase、Neo4j、物联网、Spark、代理模式、Redis、ES、机器学习算法、Hadoop、ZooKeeper、MongoDB。全是干货,希望大家喜欢!!!

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!

以下是正文,限于众编辑水平有限,不保证大家都喜欢。

物联网

①工业物联网作为一个新兴行业,然而由谁来引领工业互联网的发展?本来详细描述了物联网的本质、出发点和落脚点以及如何把握时代发展需求争抢中国工业物联网的战略制高点。

http://www.cnblogs.com/lsjwq/p/9228480.html

②本文主要介绍了历史至今的物理定位技术,在物联网时代,无论是室外,室内以及宏观和微观方面,定位技术都尤其重要。文章主要从物联网角度里介绍了定位技术,例如激光,FRID,地磁等技术,值得一阅。

https://mp.weixin.qq.com/s/3nsEOOkMm0tmz1vtxkmfXw

2

职场规划

跳槽要优先考虑成长问题

https://mp.weixin.qq.com/s/USinlXIXmIQVgF813JBNcw

3

TSDB

本文介绍OpenTSDB在HBase中数据表设计。在将这些数据存到HBase表中时,针对RowKey, Qualifier以及Value信息都做了特殊设计,可参考学习。

https://mp.weixin.qq.com/s/v7EOgPn7ZpMRdQXNm5KIkQ

4

HBase

本文介绍 HBase 常见的适合大数据量的迁移方法:DISTCP、SNAPSHOT

1、DSTCP+FIX 元数据信息

2、SNAPSHOT快照导出迁移

https://utf7.github.io/2018/01/13/hbase-data-migration/

5

Neo4j

Neo4j与Python结合,可以比较方便地实现网页排名算法与最小社区探测。

https://mp.weixin.qq.com/s/059jnKWkooGYU-9BRHs06w

6

Spark

Spark Streaming 的 checkpoint 目的是保证长时间运行的任务在意外挂掉后保证数据不丢失,checkpoint 包含两种数据:metadata 和 data,本篇主要讨论对 metadata 的 checkpoint。

https://mp.weixin.qq.com/s/QYOk0RFaejZ4E0BXlODcjw

7

代理模式

代理模式是设计模式中很重要的且特别常用的一种模式,例如spring的aop是基于动态代理实现的。基础是普通静态代理,但是一般应用最多的是动态代理,目前用的多的是jdk基于接口的动态代理以及。cglib基于继承的动态代理。最近因为工作的原因把代理复习了一遍,重新又理解了一遍,这篇文章图形并茂,生动具体的讲解了这一个重要的且常用的设计模式。

https://blog.csdn.net/luanlouis/article/details/24589193

8

Redis

在很多高并发请求的情况下,我们经常需要对系统进行限流,而且需要对应用集群进行全局的限流,那么我们如何类实现呢

https://mp.weixin.qq.com/s/1ZDWSKfy9UYoKZ7wOT5iQQ

9

ES

玩转es的sql功能,依然是熟悉的味道

https://elasticsearch.cn/article/687

10

机器学习算法

本文主要回顾下分类、回归、聚类等几个常用算法的适应场景及其优缺点,基于算法的优缺点,更易于我们去选择它。

https://mp.weixin.qq.com/s/X9DULk568vL0TOrQIJRggQ

11

Hadoop

Hadoop和Spark大数据两大平台,本文从性能,成本,安全性和机器学习分别进行了比较

https://mp.weixin.qq.com/s/txjZBlmlnafvlPydd9Hh3Q

12

ZooKeeper

ZooKeeper故障节点替换过程详解 一步一步教你操作

https://mp.weixin.qq.com/s/VUzFbC6pRL7IcdeNyYlSKg

13

MongoDB

本文讲述了MongoDB与Solr结合实现数据的同步,如何配置Solr及可能会遇到报错问题

http://www.what21.com/sys/view/71_sc_1475642114126.html

致谢:

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、魏宏斌

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2018-07-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏携程技术中心

干货 | 携程高可用架构的演变和迭代——应用开发者视角

作者简介 周源,携程技术中心基础业务研发部高级研发经理,从事软件开发10余年。2012年加入携程,先后参与支付、营销、客服、用户中心的设计和研发。 前言 携程的...

3305
来自专栏云计算D1net

重叠网络——什么让我们等了这么长时间?

虚拟化大获成功,是因为它实现了最初承诺的优势,包括优化硬件利用率,减少服务器泛滥和最大限度增加服务器硬件投资回报。这是通过以下途径实现的:对服务器的计算资源(C...

3487
来自专栏人人都是极客

物联网通信协议介绍

为了方便,将物联网通信协议分为两大类,一类是接入协议,一类是通讯协议。接入协议一般负责子网内设备间的组网及通信;通讯协议主要是运行在传统互联网TCP/IP协议之...

3826
来自专栏云计算D1net

如何管理好企业的数据

灾难恢复没有银弹。一旦发生停机,企业高管们会条件反射地以最快地速度采取各种灾难恢复手段。 虽然大多数IT主管和数据管理专家承认没有万全的安全解决方案来保...

3454
来自专栏FreeBuf

神器分享:物联网黑客工具包

今天,我将在BSides San Francisco做一个题为“物联网黑客工具包”的演讲。我会准备一个幻灯片并且发布一篇博客去参加这个演讲,如果有我演讲的视频链...

1960
来自专栏大数据钻研

你不要升级到 Windows 10 的 10 大理由

本文通过对微软合作伙伴的询问,了解到他们不想升级到Windows 10的原因。下面,我们将详细讲解用户不该升级到Windows 10的十大理由。 在佛罗里达州多...

2745
来自专栏Java架构沉思录

知乎大V@Phodal:小白也能看懂的Web安全进阶指南

早先,我也是半个黑客,经常在学校的教务系统看妹子。通过 URL 注入的方式,可以轻松进入别人的个人信息页。后来,又通过某种方式发现了管理员的账号,管理员又没有修...

1863
来自专栏刘君君

Rest Notes-设计Web架构:问题与领悟

1253
来自专栏顶级程序员

Java9之后没有Java10,而是Java18.3

Java编程语言自出现以来似乎一直是个慢性子,这次终于决定做出点改变了。Java之后的更新速度终于可以和现代编程语言相提并论了。近日,Azul Systems...

3867
来自专栏java一日一条

从“小白”到“白帽子黑客”的实用指南

早先,我也是半个黑客,经常在学校的教务系统看妹子。通过 URL 注入的方式,可以轻松进入别人的个人信息页。后来,又通过某种方式发现了管理员的账号,管理员又没有修...

1373

扫码关注云+社区

领取腾讯云代金券