腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
闵开慧
专栏成员
举报
237
文章
400584
阅读量
51
订阅数
订阅专栏
申请加入专栏
全部文章(237)
hadoop(61)
java(59)
其他(24)
ubuntu(24)
云数据库 SQL Server(23)
eclipse(23)
数据库(17)
apache(11)
jdk(11)
php(10)
linux(10)
hive(10)
windows(10)
centos(9)
hbase(9)
mapreduce(8)
sql(7)
django(7)
编程算法(7)
存储(7)
jvm(7)
jquery(6)
shell(6)
python(5)
xml(5)
html(5)
windows server(5)
安全(5)
svn(4)
tomcat(4)
分布式(4)
大数据(4)
jsp(3)
json(3)
ajax(3)
yarn(3)
缓存(3)
spark(3)
ssh(3)
javascript(2)
servlet(2)
css(2)
struts(2)
maven(2)
spring(2)
开源(2)
grep(2)
kerberos(2)
struts2(2)
bash(1)
.net(1)
scala(1)
node.js(1)
android(1)
ide(1)
api(1)
unix(1)
人工智能(1)
express(1)
运维(1)
正则表达式(1)
yum(1)
dns(1)
jdbc(1)
hashmap(1)
tcp/ip(1)
rabbitmq(1)
数据处理(1)
https(1)
nat(1)
云计算(1)
for循环(1)
table(1)
搜索文章
搜索
搜索
关闭
Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild
hadoop
yarn
node.js
大数据
执行hadoop classpath 在hadoop配置文件 yarn-site中添加以下配置 <property> <name>yarn.application.classpath</name> <value>/home/hadoop/hadoop-3.3.1/etc/hadoop:/home/hadoop/hadoop-3.3.1/share/hadoop/common/lib/:/home/hadoop/hadoop-3.3.1/share/hadoop/common/:/home/
闵开慧
2021-08-05
1.2K
0
centos7中ssh需要密码
ssh
kerberos
api
linux
hadoop
# OpenBSD: sshd_config,v 1.100 2016/08/15 12:32:04 naddy Exp
闵开慧
2021-08-05
892
0
intellij13中svn安装配置
svn
windows
hadoop
1 在windows中安装配置svn,和一般安装svn一样。 2 intellij13中svn配置 2.1 设置svn路径如下图所示 点击fix it进入下一步,如图所示 不勾选Use c
闵开慧
2018-04-02
589
0
如何恢复hadoop中被删除的文件
hadoop
xml
hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件被移动到了hdfs的.Trash文件夹中,恢复时只需将该文件夹中文件拿出即可。具体操作如下: 1 设置.Trash文件夹 如果需要恢复hdfs中文件,就需要设置.Trash,hadoop的.Trash默认是关闭的。具体设置如下: <property> <name>fs.trash.interval</name> <value>10080</
闵开慧
2018-04-02
3.7K
0
spark出现GC overhead limit exceeded和java heap space
spark
java
yarn
jvm
hadoop
spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大 export SPARK_EXECUTOR_MEMORY=6000M export SPARK_DRIVER_MEMORY=7000M 注意,此两个参数设置需要注意大小顺序: SPA
闵开慧
2018-04-02
4.7K
0
spark on yarn提交任务时一直显示ACCEPTED
spark
yarn
shell
hadoop
spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。注:spark on yarn是不需要启动spark集群的,只需要在提交任务的机器配置spark就可以了,因为任务是由hadoop来执行的,spark只负责任务的提交。 任务提交命令为 bin/spark-submit --class org.apache.spark.examples.JavaWordCount\ --mas
闵开慧
2018-04-02
3.8K
0
Permission denied: user=root, access=WRITE
hive
apache
hadoop
hive> create database bbs; FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode="/user/hive/warehouse":hadoop:hadoop:drwxrwxr-x 原因:本地用户administra
闵开慧
2018-04-02
2K
0
"/tmp/crontab.wVTqEJ":3: bad minute
shell
hadoop
crontab -e编辑后保存时出现: "/tmp/crontab.wVTqEJ":3: bad minute 这个提示的意思是crontab中的编辑格式不正确,包括时间格式等,在里面除了时间格式运行任务外不能加shell命令等,如果要使用shell则需要将任务制作成shell脚本,然后在crontab中调用该shell文件。
闵开慧
2018-04-02
860
0
Please set $HADOOP_COMMON_HOME to the root
hadoop
[root@centos2 sqoop-1.4.4.bin__hadoop-1.0.0]# bin/sqoop help Error: /usr/lib/hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation. 需要配置sqoop-env.sh文件 在sqoop中conf目录下新复制一个sqoop-env.sh文件: [root@centos2 conf]# cp sqoop-
闵开慧
2018-04-02
1.2K
0
启动hadoop2.3.0时显示JAVA_HOME is not set and could not
java
jvm
jdk
hadoop
使用start-all.sh直接启动Hadoop 如果报如下错误:localhost:Error: JAVA_HOME is not set and could not be found.则是因为JAVA_HOME环境变量没有设置,需要在./etc/hadoop/hadoop-env.sh中设置JAVA_HOME, exportJAVA_HOME=$JAVA_HOME这样设置仍然会报错,只有使用绝对路径才不会报错。如:export JAVA_HOME=/usr/lib/jvm/jre-1.6.0-o
闵开慧
2018-04-02
1.1K
0
org.apache.hadoop.mapreduce.JobContext
hadoop
java
在java中调用sqoop接口进行mysql和hdfs直接数据传输时,遇到以下错误: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected 这里需要注意,sqoop有两个版本: sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz(对应hadoop1版本) sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz(对应hadoop2版本) 出现上面的错误
闵开慧
2018-04-02
591
0
Windows中Eclipse中Hadoop2.6.0配置
windows
eclipse
hadoop
jdk
svn
Windows10(64位)中Eclipse Luna Service Release 2 (4.4.2 64位)中Hadoop2.6.0配置 1 系统配置 Windows10(64位) Eclipse Luna Service Release 2 (4.4.2 64位) Hadoop2.6.0 JDK1.8.0(64位) SVN1.8.6 ANT1.9.6 2 Eclipse和Hadoop插件制作 具体制作步骤参考文章:http://my.osch
闵开慧
2018-04-02
785
0
Exception while getting block list java.lang.ArrayIndexOutOfBoundsException
java
apache
hadoop
datanode修改本地存储路径后,数据不一致导致namenode报一下错误: 2017-11-16 17:31:44,759 WARN org.apache.hadoop.hdfs.server.balancer.Balancer: Exception while getting block list org.apache.hadoop.ipc.RemoteException(java.lang.ArrayIndexOutOfBoundsException): java.lang.ArrayInde
闵开慧
2018-04-02
1.4K
0
hadoop压缩与解压
hadoop
存储
数据处理
1 压缩 一般来说,计算机处理的数据都存在一些冗余度,同时数据中间,尤其是相邻数据间存在着相关性,所以可以通过一些有别于原始编码的特殊编码方式来保存数据, 使数据占用的存储空间比较小,这个过程一般叫压缩。和压缩对应的概念是解压缩,就是将被压缩的数据从特殊编码方式还原为原始数据的过程。 压缩广泛应用于海量数据处理中,对数据文件进行压缩,可以有效减少存储文件所需的空间,并加快数据在网络上或者到磁盘上的传输速度。在Hadoop中,压缩应用于文件存储、Map阶段到Reduce阶段的数据交换(需要打开相关的选项)等情
闵开慧
2018-03-30
1.7K
0
hadoop数据库操作解析及注意事项
hadoop
数据库
云数据库 SQL Server
mapreduce
1 从mysql读数据到hdfs: mapreduce读数据库数据到hdfs使用map读取,连接数和map数对应,读的时候会锁表读取全量数据,此时,其它更新或者写入操作就会处于等待状态。所以读的数据库尽量不能为主库,而是用从库,主库主要负责写,从库主要负责读。若锁表读取主库全量数据,其它业务操作就会处于等待状态。 2 从hdfs写入数据到mysql: mapreduce从hdfs写数据到数据库,连接数对应reduce数据量。刚开始将hdfs数据读到数据库机器的内存中,最后通过事物将内存中所有
闵开慧
2018-03-30
1K
0
启动datanode时50010和50020端口被占用
java
hadoop
datanode无法启动,在datanode上查看启动日志发现,启动datanode时50010和50020端口被占用,导致datanode无法启动。 1 在datanode上使用root用户登录,查看所有端口被占用情况 netstat -a -t --numeric-ports -p tcp 0 0 *:50010 *:* LISTEN 14141/java
闵开慧
2018-03-30
2.5K
0
hadoop安装配置过程总结
hadoop
一、Jdk安装 系统已经默认有安装,但不完全,所以需要自己安装 配置环境变量: 在usr下新建java文件夹,将Java7压缩文件解压在该文件夹中,并配置系统文件: nano /etc/profile #export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL export JAVA_HOME=/usr/java/jdk1.7.0_51 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$J
闵开慧
2018-03-30
866
0
hive安装配置(0.11版本)
hive
hadoop
云数据库 SQL Server
数据库
存储
1 假设Hadoop已经安装并配置正确,MySQL已经正确安装 2 为支持Hive的多用户多会话需求,需要使用一个独立的数据库存储元数据。 这里选择MySQL存储Hive的元数据,现在为Hive创建元数据库: mysql> create database hive; mysql> create user 'hive' identified by '123456'; mysql> grant all privileges on *.* to 'hive'@'%' with grant option; f
闵开慧
2018-03-30
737
0
Hadoop作业提交与执行源码分析
hadoop
Hadoop作业提交与执行源码分析 1 概述 Job执行整体流程图 2 Job创建与提交过程 2.1 Configuration类 Configuration类定义了如下私有成员变量: /*第一个是boolean型变量quietmode,用于设置加载配置的模式。通过阅读源代码就可以清楚,这个quietmode如果为true,实际上默认就为true,加载配置的模式为快速模式,其实也就是在解析配置文件的过程中,不输出日志信息的模式*/ private boole
闵开慧
2018-03-30
1.6K
0
Missing Hive Execution Jar: /.../hive-exec-*.jar
hadoop
centos
运行hive时显示Missing Hive Execution Jar: /usr/hive/hive-0.11.0/bin/lib/hive-exec-*.jar 细细分析这个目录/bin/lib,在hive安装文件夹中这两个目录是并列的,而系统能够找到这样的链接,说明hive在centos系统配置文件中的路径有误,打开 /etc/profile会发现hive的配置路径为 export PATH=$JAVA_HOME/bin:$PATH:/usr/hive/hive-0.11.0/bin 明
闵开慧
2018-03-30
2.4K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档