腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

浪淘沙

专栏作者

86

文章

79072

阅读量

18

订阅数

HDFS基本操作

hadoop ssh jdk java xml

一、hadoop搭建 1、修改主机名 2、ip等 3、主机映射 4、关闭防火墙(两种) 5、ssh免密登录(免密脚本) 6、安装jdk 配置环境变量 7、安装hadoop 配置文件的修改 hadoop-env.sh JAVA_HOME core-site.xml 客户端参数 namenode在哪里 hdfs-site.xml namenode和datanode存放的目录 mapred-site.xml 经过重命名之后才得到的文件，提交任务到哪里 yarn-site.xml 配置resourcemanager在哪里，资源的多少 HADOOP环境变量 8、安装程序分发集群 hosts文件 jdk安装文件 /etc.profile hadoop安装文件 9、namenode进行格式化 hadoop namenode -format 10、启动测试 start-dfs.sh hadoop-deams.sh 单独启动单台机器的进程 start-yarn 是在resourcemaneger启动的二、shell命令操作hdfs

2018-10-18

7630

SparkStreaming编程实现

spark hadoop hbase hive scala

3.MyNetworkTotalWordCountV2.scala(开发自己的实时词频统计程序(累计单词出现次数))

2018-10-18

6920

hive hadoop 数据库 sql 云数据库 SQL Server

Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

2018-10-18

1.1K0

MapReduce操作实例

mapreduce java apache hadoop 存储

要点：有一个combiner方法，可以在执行完map时调用，从而对数据进行先一步的处理，降低Reduce的IO压力。

2018-10-18

1.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态