首页
学习
活动
专区
工具
TVP
发布

about云

专栏作者
216
文章
314847
阅读量
58
订阅数
Cloudera Enterprise 6.0发布【集成Hadoop3.0】
问题导读 1.cloudera集成了哪些新的组件? 2.Cloudera Manager可以管理多少节点? 3.升级版本有哪些条件? 看到同行Fayson文章,公众号为Hadoop实操,发布了关于Cloudera Enterprise 6.0文章,非常的兴奋,这里根据英文原文翻译,分享给大家。
用户1410343
2018-10-08
7540
Hadoop 2.x与3.x 22点比较:3.x将节省大量存储空间
1.Hadoop3.x通过什么方式来容错? 2.Hadoop3.x存储开销减少了多少? 3.Hadoop3.x MR API是否兼容hadoop1.x?
用户1410343
2018-10-08
2.2K0
适合小白入门Spark的全面教程
1.实时分析 在我们开始之前,让我们来看看美国社交媒体比较有名的企业每分钟产生的数据量。
用户1410343
2018-08-16
5.7K0
spark与hadoop相比,存在哪些缺陷(劣势)
一说大数据,人们往往想到Hadoop。这固然不错,但随着大数据技术的深入应用,多种类型的数据应用不断被要求提出,一些Hadoop被关注的范畴开始被人们注意,相关技术也迅速获得专业技术范畴的应用。最近半年来的Spark之热就是典型例子。 Spark是一个基于RAM计算的开源码ComputerCluster运算系统,目的是更快速地进行数据分析。Spark早期的核心部分代码只有3万行。Spark提供了与HadoopMap/Reduce相似的分散式运算框架,但基于RAM和优化设计,因此在交换式数据分析和datami
用户1410343
2018-03-27
1.4K0
网络爬虫项目介绍及简单例子
爬虫的目的: 可以获得自己想要的信息,如果是电商公司可以获得竞争对手的商品价格,可以参考; 政府部门可以爬虫新闻类的网站,爬虫评论查看舆论; 还有的网站从别的网站爬虫出来在自己网站上展示。 等等 爬虫分类: 1.全网爬虫(爬取所有的网站) 2.垂直爬虫(爬取某类网站) 网络爬虫开源框架 nutch;webmagic 爬虫技术分析: 1.数据下载 模拟浏览器访问网站就是request请求res
用户1410343
2018-03-27
1.8K0
这8种武器点亮程序员的个人品牌
提到段誉,我们就会想起凌波微步和六脉神剑。提到乔峰,我们会想起降龙十八掌。提到王语嫣,我们会想到她惊为天人的容貌和熟知各门派功夫的渊博知识。提到欧阳锋,我们会想起蛤蟆功。提到李寻欢,我们会想起小李飞刀。提到…… 提到Linus Torvalds,我们会想起Linux。提到雷军,我们会想起WPS和小米。提到Bill Gates,我们会想到微软和Windows。提到王江民,我们会想起江民杀毒。提到侯延堂,我们会想起网际快车。提到…… 每一个人,不管是小说中的还是现实中的,被提起时,听者都会联想到和这个人相关的一
用户1410343
2018-03-27
8140
企业该如何构建大数据平台【技术角度】
问题导读 1.作为一个技术人员,你认为该如何搭建大数据平台? 2.构建大数据平台,你认为包括哪些步骤? 3.本文是如何构建大数据平台的? 亲身参与,作为主力完成了一个信息大数据分析平台。中间经历了很多问题,算是有些经验,因而作答。 整体而言,大数据平台从平台部署和数据分析过程可分为如下几步: 1、linux系统安装 一般使用开源版的Redhat系统–CentOS作为底层平台。为了提供稳定的硬件基础,在给硬盘做RAID和挂载数据存储节点的时,需要按情况配置。例如,可以选择给HDFS的namenode
用户1410343
2018-03-27
2.2K0
大数据处理分析的六大工具
下面请看详细介绍: Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元
用户1410343
2018-03-27
3K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档