#Hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

首届Apache Hadoop技术社区中国Meetup在京举办(内附完整PPT)

腾讯开源

? 近日,在Apache Hadoop社区主导及邀请下,腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技...

3220

首届Apache Hadoop技术社区中国Meetup在京举办(附PPT)

腾讯技术工程官方号

腾讯 · 产品经理 (已认证)

? 近日,在Apache Hadoop社区主导及邀请下,腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技...

1610

一份关于数据科学家应该具备的技能清单

用户3578099

大数据时代,什么职业比较吃香?答案可以从今年的校招薪资列表上知道——算法工程师、人工智能研究员、数据分析等职位。其实这几个职位有一定的交集,那就是需要处理大量的...

3420

Hadoop,凉了?那还需要它吗?

Yajun_

“Hadoop 三大发行商的衰落是否代表了 Hadoop 的衰败?”这是很多人关心的问题,也是技术人在热情讨论的问题。首先,需要明确的是 Hadoop 三大发行...

2820

详解Kafka:大数据开发最火的核心技术

Yajun_

Kafka可以与Flume/Flafka、Spark Streaming、Storm、HBase、Flink以及Spark配合使用,用于实时获取、分析和处理流数...

2020

分析产品需求背后,程序员引发的思考

一猿小讲

首先带着兄弟们深入了解了一下需求背景,需求简单的几句话,看似不难。做过数据的都清楚,凡是涉及到数据,都多多少少比较难搞。

2120

一份超详细的 Spark 入门介绍

Yajun_

Apache Spark 是 UC Berkeley AMP Lab 开源的类 Hadoop MapReduce 的通用并行框架,是专为大规模数据处理而设计的...

2720

Linux命令

杨肆月

参考:https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#mv

3120

CDH 安装文档整合

kk大数据

CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hado...

5120

Hadoop Meetup 现场直播

腾讯开源

自2006年诞生以来,Hadoop技术与社区已走过了13个年头,在经历了大数据技术高速发展之后,迎来了3.x时代。Hadoop如何在腾讯、阿里、滴滴、小米、美团...

8740

Hadoop再凉凉,MapR终被HPE收购

用户1564362

再看看缩水缩的马上要挂掉的Cloudera。Hadoop,至少是非公有云的Hadoop,恐怕是真的要凉凉了。

8620

Spark Core源码精读计划 | SparkContext组件初始化

暴走大数据

SparkContext会借助工具类SparkHadoopUtil初始化一些与Hadoop有关的配置,存放在Hadoop的Configuration实例中,如A...

4430

Spark Core源码精读计划4 | SparkContext提供的其他功能

暴走大数据

可见,textFile()方法用TextInputFormat格式读取HDFS上指定路径的文件,生成HadoopRDD,再将其中的具体内容用map()算子提取出...

6720

Flume浅度学习指南

暴走大数据

Flume is a distributed, reliable, and available service for efficiently collecti...

7730

Mac做java开发(五):​hadoop的几个简单操作

用户5473628

•资源:在 YARN 的语境下,资源特指计算资源,包括CPU 和内存。计算机的每个进程都会占用一定的CPU 和内存,任务需要先向RM 申请到资源后才能获准在NM...

7420

Mac做java开发(四):​hadoop分布式环境搭建

用户5473628

大数据时代,分布式技术至关重要,因此,这篇文章介绍hadoop分布式环境搭建,作为个人学习大数据技术的实验环境。

7730

VMware虚拟机联网

ZONGLYN

第一次打开时一定要选择我已移动此虚拟机!否则需要重新配置IP 如果ip变了,要么重新配ip(百度),要么删掉重新拷贝一个; 验证:打开hadoop01/02/0...

7630

NameNode HA:如何防止集群脑裂现象

ZONGLYN

转自:http://www.cnblogs.com/shenh062326/p/3870219.html 作者:南国故人

9620

大数据学习(二)-------- MapReduce

实时计算

https://www.cnblogs.com/tree1123/p/10683570.html

5730

大数据学习(一)-------- HDFS

实时计算

已经有了很多框架方便使用,常用的有hadoop,storm,spark,flink等,辅助框架hive,kafka,es,sqoop,flume等。

9120

扫码关注云+社区

领取腾讯云代金券