2018年中国大数据产业趋势分析:市场规模或超6000亿元

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享 技术沙龙 | 6月30日与多位专家探讨技术高速发展下如何应对运维新挑战

大数据时代的数据分析师该了解哪些事情

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享 技术沙龙 | 6月30日与多位专家探讨技术高速发展下如何应对运维新挑战

用爬虫分析互联网大数据行业薪资情况

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享 技术沙龙 | 6月30日与多位专家探讨技术高速发展下如何应对运维新挑战

大数据的核心是云技术和BI

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享 技术沙龙 | 6月30日与多位专家探讨技术高速发展下如何应对运维新挑战

2018-07-19期 Hadoop HDFS DataNode功能

一、DataNode功能及特性(1)提供真实文件数据的存储服务。(2)文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大

SecondaryNameNode作用

[TOC] 文档来自李德胜老师,下面有些地方加了一些自己的理解和备注。 ​ 在Hadoop中,有一些命名不好的模块,Secondary

Yarn流程、Yarn与MapReduce 1相比

[TOC] Yarn流程 可以参考《Hadoop权威指南》P79中的图示与介绍进行理解,当然结合下面这个图示与其中的解释进行理解则会更加清晰易

中原六仔平台搭建实时同步系统

Rsync 优点中原六仔平台搭建Q1446595067 rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求

HDFS--数据块概念(阅读摘要,理解概念前的信息采集)

1.1、数据块(block) 1.1.1.HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M

腾讯宜出行数据无人值守抓取

腾讯宜出行的热力图数据抓取有以下几个难点: 1)需要登录抓取。 2)会话时效性短,Cookie中有JS动态产生的验证参数。 3)一个账号每天只能