腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

程序萌部落

个人博客请访问 www.cxmoe.com，自19年8月起搬迁至此。

专栏作者

130

文章

290686

阅读量

27

订阅数

VMware虚拟机联网

kafka bash bash 指令 zookeeper hadoop

第一次打开时一定要选择我已移动此虚拟机！否则需要重新配置IP 如果ip变了，要么重新配ip（百度），要么删掉重新拷贝一个；验证：打开hadoop01/02/03 使用ifconfig看ip地址分别应该是 192.168.146.130/131/132；

2019-08-08

1.1K0

NameNode HA：如何防止集群脑裂现象

node.js hadoop rpc https 网络安全

转自：http://www.cnblogs.com/shenh062326/p/3870219.html 作者：南国故人

2019-08-08

2.6K1

IDEA远程提交hadoop任务时出现的错误

上述问题解决：开启historyserver服务 mr-jobhistory-daemon.sh start historyserver

2019-08-08

2.2K0

VMware虚拟机相关问题

hadoop nat NAT 网关虚拟化 jdk

直接拷贝虚拟机文件；使用对应版本的VMware虚拟机来打开它；不知道选择“我已复制该虚拟机”; 知道选择“我已移动该虚拟机”(免设置网络IP)一定要选这个！！！如果需要修改IP地址，要做以下内容：

2019-08-08

6560

由主节点配置从节点从而构建集群

hadoop java ssh jdk node.js

主节点改名字，改为master，hosts 改hadoop的slaves加四个xml slaves是加一个节点就要改一次从节点新建hadoop用户，修改权限，赋予权限 ALL =… 改好主机名，按node01 node02……规则配好ssh，保证可以通信关防火墙，iptables stop 关selinux 自ssh可以，主对从可以免密ssh 用scp传jdk和hadoop到从节点的tmp目录下可能会出现权限问题，使用tmp目录则不要紧，文件夹权限问题配jdk和hadoop的环境变量新

2019-08-08

7320

Hadoop集群运行时问题

hadoop 大数据 node.js jar 分布式

有hadoop01-04 四个节点，现在只开hadoop01，只用master 修改master节点的 /etc/local/hadoop/etc/hadoop/slaves文件将hadoop01加入，即之前没有hadoop01，表明master节点只有namenode，没有datanode，现在将datanode让之启动，就可以使master有双重身份其他配置，其他节点的配置，均不改以上类似伪分布式，但是更灵活，本身为完全分布式状态，只运行hadoop01时即为节点缺省状态，当其他节点运行时，不用任何改动即可以成为一个集群。完。

2019-08-08

7250

CentOS安装JDK

hadoop jdk java

之后开始安装jdk【hadoop用户下即可】用浏览器去官网下载tar.gz后缀的jdk，64位的要选x64的jdk

2019-08-08

7910

在windows下使用IDEA远程连接linux集群进行mapreduce调试

maven linux ide windows hadoop

改用户名，administrator改为hadoop，即改为linux集群的用户名，我的为hadoop

2019-08-08

2.4K0

hive与hbase的联系与区别

hive mapreduce hadoop hbase TDSQL MySQL 版

hive与hbase的联系与区别：共同点： hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别： Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用HBase+Hadoop 。 Hive query就是MapReduce jobs可以从5分钟到数小时不止，HBase是非常高效的

2019-08-08

2K0

Spark的运行环境及远程开发环境的搭建

spark shell scala hadoop

2009 RAD实验室，引入内存存储 2010 开源 2011 AMP实验室，Spark Streaming 2013 Apache顶级项目

2019-08-08

2.1K0

Kettle对接Hadoop

? ? ? ? ? ? ? ? ?

2019-08-08

9560

Hadoop常用命令

启动Hadoop 进入HADOOP_HOME目录。执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: [hadoop@hadoop-1 test]$ hadoop fs -ls /gsw/rs 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:[hadoop@hadoop-1

2019-08-08

1.4K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态