腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
需要在
Hadoop
-2.0.0中手动创建dfs.domain.socket.path才能
使用
Impala
吗
?
linux
、
hadoop
、
hadoop2
、
impala
我正在按照说明配置
hadoop
-2.0.0
集群
以安装Impala。但是,当我通过start-dfs.sh启动
Hadoop
集群
时,它无法启动数据节点。datanode中的日志显示“无法统计路径组件:'/var/lib/
hadoop
-hdfs'”。然后,我手动创建/var/lib/
Hadoop
-hdfs,并再次启动
Hadoop
集群
。它再次失败,日志显示这是关于该目录的<em
浏览 14
提问于2014-09-24
得票数 1
1
回答
CentOS上的
Hadoop
流示例,在/mapred/local/taskTracker上拒绝python
权限
hadoop
、
hadoop-streaming
我已经能够
使用
python mapper & reducer设置流媒体示例。映射文件夹位置为/ mapred /local/taskTracker
root
用户和mapred用户都拥有此文件夹和子文件夹的所有权 但是,当我运行我的流时,它创建了地图,但没有减少,并给出了以下错误无法运行程序/mapred/local/taskTracker/
root
/jobcache/job_201303071607_0035/attempt_2013
浏览 1
提问于2013-03-08
得票数 2
2
回答
在
使用
bdutil创建的gcloud实例成功执行ssh之后,几乎所有内容的“
权限
被拒绝”。
hadoop
、
permission-denied
、
hortonworks-data-platform
、
gcloud
刚刚创建了实例并
使用
bdutil部署了
集群
。SSH可以很好地工作,因为我可以在实例中
使用
./bdutil shell。当我试图访问诸如
Hadoop
、hdfs等目录时,它会引发一个错误: 终端看起来像username@
hadoop
-m $,我知道
hadoop
-m是实例的名称。用户名是什么?我正在
使用
Ubuntu在实例中
使用
ssh。
浏览 5
提问于2015-07-02
得票数 1
1
回答
纱线作业获得的资源似乎比Ambari纱线经理报告的少。
hadoop-yarn
、
h2o
、
ambari
、
hdp
可以做些什么来修复(同样,希望能够
使用
所有表面上60 of的纱线资源来完成这项工作而不会出错)?有任何修正的调试建议
吗
?更新 问题似乎与有关,让用户存在于节点上并拥有具有正确
权限
的hdfs://user/<username>目录(正如我从中所相信的那样)不足以被确认为
集群
上的“存在”。运行存在于所有
集群
节点上的不同用户(在本例中为Ambari创建的hdfs用户)运行
hadoop
命令(尽管Ambari创建了该用户具有不同的跨节点uids (如果这是
浏览 5
提问于2019-07-26
得票数 0
回答已采纳
1
回答
Amazon上的区域服务器数量
hadoop
、
hbase
、
elastic-map-reduce
假设我在Amazon弹性mapreduce上启动了一个
集群
,并有一个主节点实例、两个核心节点实例和15个任务节点实例。 谢谢问候
浏览 1
提问于2013-10-03
得票数 1
1
回答
问题-从mysql导入数据到HDFS
mysql
、
hadoop
、
import
、
sqoop
我正在尝试将一个表"employee“从MySQL(安装在我的笔记本上)导入到HDFS(也安装在我的笔记本上的VM上)授予所有特权。将
root
@192.168.56.1用“
root
”和GRANT选项标识;救命啊!!sqoop-1.4.4]$ bin/sqoop import --connect jdbc:mysql://192.168.56.1/test --table employee --username
浏览 0
提问于2015-09-15
得票数 0
回答已采纳
4
回答
MR2中的基本
权限
错误
hadoop
、
permissions
、
hadoop-yarn
最近构建的psuedo分布式MR2 MR2
集群
中的pi示例失败,出现以下错误: 13/07/06 21:20:47 ERROR cause:org.apache.
hadoop
.security.AccessControlException::inode="/tmp/
hadoop
-yarn/staging":mapred:mapred:drwxrwx--- as:security.UserGroupInformation( PriviledgedActionExceptio
浏览 1
提问于2013-07-07
得票数 4
2
回答
在map约简模式下拒绝猪
权限
hadoop
、
apache-pig
、
hdfs
我试图
使用
PigStorage从hdfs加载一个csv文件,限制输出bt一条记录和转储。我的hdfs快照:我的猪脚本运行在数据节点上。
使用
根用户gruntin
浏览 0
提问于2013-09-26
得票数 1
回答已采纳
2
回答
HDFS中的哪个节点请求数据?
hdfs
我正在构建一个HDFS
集群
,我想请求数据。我是否必须将所有请求都发送到主节点,还是可以通过任何节点发送? 谢谢
浏览 2
提问于2017-04-12
得票数 0
1
回答
如何将mac连接到
hadoop
/hdfs
集群
hadoop
、
hdfs
、
cloudera
我有在
集群
中运行的CDH,我有ssh访问机器的
权限
。我需要将我的Mac连接到
集群
,所以如果我
使用
hadoop
-ls,它应该向我展示
集群
的内容。我已经将
HADOOP
_CONF配置为指向
集群
的配置。我正在
集群
中运行CDH4。我是不是漏掉了什么东西,能联系上
吗
? 我需要做一些ssh键设置
吗
?
浏览 3
提问于2012-07-26
得票数 1
2
回答
使用
Hadoop
-copyFromLocal命令时,没有此类文件或目录错误
hadoop
、
hdfs
、
hortonworks-data-platform
我有一个本地VM,它安装了Hortonworks、
Hadoop
和hdfs。我从我的机器将ssh'ed复制到VM中,现在我试图通过以下命令将文件从本地文件系统复制到hdfs中:[
root
@sandbox ~]# sudo -u hdfs
hadoop
fs -copyFromLocal /
root
/folder1/
浏览 2
提问于2016-01-16
得票数 4
1
回答
NameNode不能从start-all.sh开始
java
、
ubuntu
、
hadoop
、
hdfs
、
hadoop2
我正在尝试将
Hadoop
作为单节点
集群
在我的机器上运行。我完成了安装步骤,所以
Hadoop
已经在我的系统上了。我还尝试
使用
以下命令格式化NameNode但是我不能这样做,我得到了错误: 15/07/15 16:34:19 WARN namenode.NameNodeat org.apache.
hadoop
.hdfs.server.namenode.NNStorage.format(NNStorage.java:569)
浏览 1
提问于2015-07-15
得票数 1
1
回答
如何将数据从本地文件系统(linux)传输到Google平台上的
Hadoop
集群
linux
、
hadoop
、
google-cloud-platform
、
hdfs
我是
Hadoop
的初学者,我在Google平台上创建了一个
Hadoop
集群
(一个主服务器和两个奴隶)。我
使用
本地文件系统(Linux):ssh -i key key@public_ip_of_master访问
集群
的主服务器 然后,我在
集群
中做了sudo su -,因为函数在根用户时只出现。然后,我
使用
start-dfs.sh和start-all.sh启动了HDFS。现在的问题是,想要将文件从本地Linux文件系统传输到
Hadoop
集群</
浏览 3
提问于2022-02-16
得票数 -1
2
回答
无法在
Hadoop
集群
- ClassNotFound异常上启动ClassNotFound
hadoop
、
hadoop-yarn
、
h2o
我试图在
Hadoop
集群
上启动H2O。遗憾的是,它不起作用,给了我一个错误,即找不到类water.
hadoop
.h2omapper。我从终端启动H2O
集群
(在所有节点上都进行了尝试,每个节点都有相同的错误),输出如下:at org.apache.
hadoop
.mapred.MapTask.runNewMa
浏览 18
提问于2017-10-12
得票数 1
1
回答
hadoop
cdh4作业无法从
权限
错误开始
hadoop
、
configuration
、
hbase
、
hdfs
、
cloudera
据我所知,hbase配置没有获得
hadoop
配置(请参阅作业输出中的警告)。我提供了hdfs-site.xml、作业配置、带有堆栈跟踪的作业输出和文件
权限
。:~ # sudo -u mapred
HADOOP
_CLASSPATH=`hbase classpath`
hadoop
jar /home/mapred/cdr-
hadoop
-0.0.0-SNAPSHOT.jar(JarFinder.java:156)文件
权限
:~
浏览 3
提问于2013-08-08
得票数 3
3
回答
Dataproc:配置火花驱动程序和执行器log4j属性
logging
、
google-cloud-dataproc
若干建议:也许不是,就像从医生那里: --properties命令无法修改上面未显示的配置文件.另一种方法是在
集群
init期间
使用
shell脚本并运行s
浏览 6
提问于2016-03-23
得票数 5
回答已采纳
2
回答
我需要在hdfs中自动创建AD用户目录
hadoop
、
cloudera
我已经将Kerberos5.7设置与Active directory集成在一起,
使用
CLoudera,如所示。但问题是,我必须在HDFS @
hadoop
中为每个用户创建一个用户目录,以便为通过/user工作的用户提供访问
权限
。他们有没有办法在用户通过边缘节点登录时自动在hdfs中创建用户目录?因为在
集群
上创建和删除7000+员工的用户目录非常困难。
浏览 2
提问于2016-06-06
得票数 0
2
回答
Hadoop
NameNode没有启动
hadoop
、
cluster-computing
我目前正在亚马逊EC2实例(多节点
集群
)上运行
Hadoop
2.6.0。我启动了两个Ubuntu14.04实例。其中一个是主人,另一个是奴隶。-2.6.0/
hadoop
_data/hdfs/datanode</value></configuration> 其他人和主人一样。/ubuntu/
hadoop
-2.6.0/logs/
hadoop</e
浏览 1
提问于2015-06-11
得票数 2
1
回答
针对用户的
Hadoop
组设置
hadoop
我试图在
hadoop
集群
中设置文件
权限
。我想给一个文件夹一个分组的
权限
,以便它可以被一个特定的组访问。我已经为文件夹设置了这些
权限
-- ls:
权限
被拒绝: user=user2,access=READ_EXECUTE,inode=“/f
浏览 1
提问于2016-01-21
得票数 0
1
回答
Hadoop
在批处理系统上作为用户进程
hadoop
、
pbs
、
torque
、
sungridengine
我见过
Hadoop
- on -Demand和SGE上的
Hadoop
集成。我的理解是,这需要管理员
权限
,而我在工作中的大型
集群
上没有管理员
权限
。管理员们忙得不可开交,几个月内都不能给我们安排。我认识到临时虚拟
集群
对HDFS实用程序的限制。我也理解
使用
lustre文件系统是如何违反规则的,但是有没有人写过SGE或Torque (PBS)脚本来向启动
hadoop
实例的
集群
提交作业?
浏览 0
提问于2012-02-10
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何使用Mahout在hadoop进行集群分析
离线部署 CDH 及使用 CDH 部署 Hadoop 大数据平台集群服务
hadoop,spark在虚拟机集群里跑还有性能上的优势吗?
集群同步脚本编写和免密登陆配置
Hadoop进级教程之-HBase高可用部署及内存调优
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券