腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Hadoop MapReduce程序错误
hadoop
、
mapreduce
、
bigdata
、
hadoop2
MyFirstMapReduce/Files/input/': No such file or directoryCentOSKernel
Linux
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_
HDFS
_HOME/WordCount.java WordCount.cla
浏览 4
提问于2015-04-10
得票数 0
回答已采纳
1
回答
hdfs
/user空间在
hdfs
中分配的位置
hadoop
、
hdfs
我搞不懂
hdfs
的/user空间是在哪里分配的。它在
Linux
文件系统中不可见。但是在
hdfs
中有一个名为/user的目录。我猜是因为配置的原因?它是否跨集群中的所有节点创建?
浏览 6
提问于2015-02-21
得票数 0
1
回答
将文件从haddop集群(远程windows机器)上传到
hdfs
,就像hue上载一样
hadoop
、
hdfs
、
hue
我正试图找到一种解决方案,将文件从本地windows机器或本地
linux
机器复制到云上的
hdfs
。我知道一个解决办法 节点->
hdfs
(使用
hdfs
命令)
hdfs
文件:://<‘本地-主机’>:<‘本地-路径’>
hdfs
://
浏览 2
提问于2016-06-17
得票数 0
2
回答
无法使用"du -h“在
Linux
中找到大型文件
linux
、
hadoop
/data/2/dev/sdd1 1.8T 745G 996G 43% /data/4
HDFS
浏览 9
提问于2013-07-25
得票数 2
回答已采纳
2
回答
文件或目录如何存储在hadoop中
hadoop
、
hdfs
、
hadoop2
我使用以下命令在
hdfs
中创建了一个文件通过使用以下命令,我可以看到创建的文件但是,我无法通过使用
linux
命令(使用查找或定位)找到位置本身。它说,
hdfs
是虚拟存储。在这种情况下,它是如何使用哪个分区或需要使用多少分区,在哪里存储元数据? 我在
hdfs
-site.xml中提到的虚拟存储是否
浏览 1
提问于2016-08-19
得票数 1
回答已采纳
1
回答
如何将文件从本地磁盘传输到Cloudera虚拟机?(我已经查过了,但什么也没找到)
linux
、
hadoop
、
hdfs
、
cloudera
获取一个简单的.txt文件并将其传输到cloudera中的
hdfs
目录中。 但没那么走运。任何帮助或指导都将不胜感激。
浏览 40
提问于2017-02-16
得票数 0
回答已采纳
1
回答
python
hdfs
远程上传文件到
hdfs
python
、
hadoop
、
hdfs
我想通过python模块"
hdfs
“远程上传文件到我的
hdfs
。我的hadoop在我的
linux
上运行,但我想远程上传文件在我的windows(或其他计算机)。当我使用如下代码时:client = InsecureClient('http://xx.xx.xx.xx:50070', user='user') 我可以使用client.walk('/')来<em
浏览 1
提问于2017-03-22
得票数 2
1
回答
在hadoop 2.7.2中无法连接slave1 1:8088
hadoop
我是hadoop的新手,我已经将Hadoop2.7.2安装在两台机器上,这两台机器是Masterandslave1。我跟踪了。本教程中没有提到这一点,但我也在hadoop-env.sh中编辑了JAVA_HOME和HADOOP_CONF_DIR变量。最后,我安装了两台机器hadoop。在主NameNode中,DataNode、SecondaryNameNode、ResourceManager和NodeManager在运行,而在slave1中,DataNode和NodeManager在运行。 我可以在浏览器中转到master:8088,当我转到时,这里只有主节点。我不能去isci17:8088,那
浏览 1
提问于2016-11-23
得票数 0
回答已采纳
2
回答
如果本地节点上也存在相同的路径,则
HDFS
会感到困惑。
linux
、
hadoop
、
hdfs
、
hadoop2
我面临的问题是,
HDFS
上有一个带有路径/tmp/data的目录,它有一些csv文件,比如abc.csv,现在这个文件夹也存在于节点的一个本地
linux
上,并且包含一个csv文件xyz.csv。当我从node1运行以下命令时:
hdfs
dfs -ls /tmp/data/*.csv,我期望输出显示abc.csv,但是,我收到一个错误消息:在本地
浏览 4
提问于2017-02-02
得票数 1
回答已采纳
1
回答
Cloudera Hadoop超级用户组
hadoop
我正试图在我的一个datanodes上创建一个组,它将具有
hdfs
和相关fs命令的超级用户权限。到目前为止,我已经:使用: groupadd超级组在datanode上创建一个本地组当我运行"hadoop -report“时,我仍然会收到错误,我不是超级用户,我应该能够访问
hdfs
中的任何东西,而不管作为超级用户的权限如何,但我不能。
浏览 0
提问于2014-05-02
得票数 2
回答已采纳
1
回答
cc机箱无法找到libjvm.so,即使它是通过RUSTFLAGS='-L‘提供的
rust
、
rust-cargo
unknown-
linux
-gnu/lib/rustlib/x86_64-unknown-
linux
-gnu/lib/libterm-1d56ea45a67842c8.rlib" "/usr/local/rustup/toolchains/1.54.0-x86_64-unknown-
linux
-gnu/lib/rustlib/x86_64-unknown-
linux
-gnu&
浏览 85
提问于2021-09-01
得票数 0
回答已采纳
2
回答
如何将百万歌曲数据集等大数据集加载到BigData
HDFS
、Hbase、Hive?
python
、
hadoop
、
hive
、
hbase
、
bigdata
但是我不知道如何提取并加载到
HDFS
中,这样我就可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive?如果有人能帮我找到合适的资源会很有帮助。
浏览 0
提问于2015-10-10
得票数 0
1
回答
将文件从本地放置到hadoop环境
hadoop
注意:我已经阅读了之前关于堆栈溢出的所有与此场景相关的文章,但没有发现任何有用的信息。1)当我检查pwd时,连接到hadoop之后,它显示/home/hduser。这意味着我在hduser dir中,它也是我的hadoop环境的用户。当我使用下面的命令创建dir时,dir将被创建。我的问题是,为什么不能从终端而在上看到路径/home/hduser下的dir (用户)? 2)在我的根下有两个存在,一个是Jon,另一个是hduser。在位置/home/Jon的位置/home/ Jon,我在用户Jo
浏览 6
提问于2017-06-04
得票数 1
回答已采纳
2
回答
hadoop-2.7.2中缺少/user目录
hadoop2
我的.bashrc文件的内容如下:
hdfs
-site.xml文件的内容如下:
浏览 0
提问于2017-01-03
得票数 1
1
回答
从windows上的星星之火到
HDFS
存储文件
linux
、
apache-spark
、
hadoop
、
hdfs
我已经在本地windows机器上的
linux
中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上,我已经安装了Spark。在windows上运行spark时,我可以读取
HDFS
中存储的文件(在
linux
中)。val lines = sc.textFile("
hdfs
://MyIP:9000/Data/sample.txt") 当保存一个用于
HDFS
saveAsTextFile("
hdfs</em
浏览 1
提问于2018-09-16
得票数 0
回答已采纳
1
回答
在复制到
HDFS
时忽略输入文件中的第一行/最后一行的Hadoop命令
hdfs
、
hadoop2
我在
Linux
中有一个输入文件,它有一个头文件。我无法修改此文件,因为只有只读访问该文件。在将文件从
Linux
复制到
HDFS
时,还有其他方法可以跳过/忽略标头吗?比如copyFromLocal -1 input_file_name
hdfs
_file_name?
浏览 2
提问于2017-09-18
得票数 0
回答已采纳
7
回答
hadoop将本地文件系统文件夹拷贝到
HDFS
hadoop
、
hdfs
我需要将一个文件夹从本地文件系统复制到
HDFS
。我找不到任何将文件夹(包括其所有子文件夹)移动到
HDFS
的示例 $ hadoop fs -copyFromLocal /home/ubuntu/Source-Folder-To-Copy
HDFS
-URI
浏览 0
提问于2015-01-29
得票数 76
1
回答
Hadoop和Mapreduce配置
hadoop
、
mapreduce
、
hdfs
如何在
HDFS
中创建块。例如,hadoop框架安装在例如redhat
linux
机器上。
linux
文件系统的默认块大小是4k。
HDFS
块是4k块上的逻辑包装器,或者是如何创建块的。我希望看到我刚刚复制到
HDFS
的所有特定文件块的位置(数据节点)。有什么命令可以在单一地点进行吗? 如果我将视频文件移动到
HDFS
,如何对此视频文件进行块分配?
浏览 1
提问于2016-03-03
得票数 1
回答已采纳
3
回答
无法找到apt安装hadoop-0.20-fuse包
ubuntu
、
hadoop
、
hdfs
、
fuse
我需要安装一个“可安装的
HDFS
”。在四处寻找时,我得到了几个教程: 他们都是从sudo apt-get install hadoop-0.20-fuse开始的。我对
Linux
还不熟悉。我怎样才能让我的Ubuntu找到这个包裹?(Ubuntu12.10新安装的LTS。从那以后,我做的唯一一件事就是安装和配置Hadoop和HBase。自述文件中的说明似乎表明,在安装
HDFS
之前,我们需要安装FUSE。我也被困在这个..。 请帮帮忙。
浏览 1
提问于2012-10-29
得票数 3
2
回答
如何使用Flume将一组csv文件从本地目录复制到
HDFS
csv
、
hadoop
、
flume
、
flume-ng
如何使用Flume将一组csv文件从本地目录复制到
HDFS
?我尝试使用假脱机目录作为我的源,但未能复制。= MemoryChannel-2 agent1.sinks.
HDFS
.
hdfs
.path =
hdfs
://localhost:8020/user/cloudera/runs agent1.sinks.
HDFS</
浏览 0
提问于2014-07-20
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux查看日志
Linux下查看CPU信息
Linux 查看 SELinux 的状态
linux 基本日志查看命令
Linux查看文件类型命令实验
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券