1回答
使用不位于hdfs中的文件
hadoop、hive、bigdata
但是，尽管有根权限，我还是不能将数据从文件系统复制到hdfs：put: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
我尝试了不同的方法来从flume_test/logs文件创建表，这在hdfs中是不存在的。那么，我如何从文件中创建外部表，而该文件不在
浏览 0提问于2015-08-02得票数 0
回答已采纳
1回答
无法将目录上载到hdfs。`/usr/local/tmp/'：没有这样的文件或目录
ubuntu、hadoop、amazon-ec2、hdfs、master-slave
我试图将目录中的文件上传到我在HDFS上创建的目录中，但我无法这样做，因为ubuntu无法在我的机器上找到这些文件。‘state’目录(我正在尝试上传的目录)包含50个txt文件，位于我的下载文件夹(路径: /home/shradha/Downloads)。我尝试在hdfs /state中上传这些文件到我的ec2 hadoop实例中(我已经创建了hdfs和state)。我在某个
浏览 0提问于2016-10-15得票数 0
1回答
如何在向hadoop提交远程应用程序时设置jar路径？
java、hadoop、hadoop-yarn
org.apache.hadoop.yarn.event.AsyncDispatcher$1.run(AsyncDispatcher.java:81)我在PC A上运行这个例子，但是我在PC B上部署hadoop，jar在PC A上。1)我是否需要将jar上传到hdfs？如果我需要，我知道该怎么做
2)我只是想了解纱线的一些原理，如果我想提交申请，我需要上传这个罐子给主人吗？我能把jar文件上传到主人的本地文件系统
浏览 3提问于2013-11-08得票数 1
回答已采纳
1回答
在hadoop mapreduce作业中使用多个本地文件夹作为源
hadoop、mapreduce
我想使用所有这些文件夹作为我的MapReduce命令的输入源，并将结果存储在HDFS中。我找不到一个有效的命令来使用Hadoop Grep示例来执行此操作。
浏览 2提问于2012-05-16得票数 0
回答已采纳
2回答
从hdfs加载文件csv
hadoop、hdfs
我试图将CSV文件上载到分布式文件系统hdfs中，其中包括：
But I get the following error:
浏览 1提问于2018-10-31得票数 2
回答已采纳
3回答
spark-submit:我能告诉spark不要每次都重新上传jars吗？
apache-spark
我运行了一个30秒的任务来调试一个只出现在集群上的问题，但我必须等待10分钟，才能让它每次重新上传库jars。
浏览 10提问于2016-07-14得票数 0
回答已采纳
1回答
使用HDInsights集群中的Spark未保存在Azure blob中的文件
azure、apache-spark、hadoop、azure-blob-storage、azure-hdinsight
我们已经在Azure上设置了HDInsights集群，Blob作为Hadoop的存储空间。我们尝试使用Hadoop将文件上传到hadoop，然后将这些文件上传到Azure Blob。用于上载的命令：然而，当我们尝试使用Spark将文件写到Hadoop时，它不是上传到Azure Blob存储，而是上传到hdfs-site.xml为datanode指定的目录下VM的磁盘上。所用代码：
d
浏览 2提问于2022-06-14得票数 0
回答已采纳
3回答
星火运行时jar (../Spark-2.0.1bin-hadoop2.6/jar)是如何在纱线集群中分发给物理工作者节点的？
apache-spark、hadoop-yarn、hadoop2
根据我的理解，火花不需要安装在纱线集群的所有节点上。只需要在触发火花提交脚本的节点(通常是网关节点)上安装火花。
浏览 7提问于2016-11-28得票数 0
1回答
将字符串保存到HDFS会为每个字符创建换行符
scala、hdfs、apache-spark
我有一个从本地系统读取并上传到HDFS的纯文本文件。我使用Spark/Scala代码读取文件，将文件转换为字符串，然后使用saveAsTextFile函数指定要保存文件的HDFS路径。MyFile.txt").getLines
sc.makeRDD(lines).coalesce(1, true).saveAsTextFile("hdfs://myhdfs:8520/user/alan/
浏览 1提问于2014-11-17得票数 1
1回答
Hadoop Yarn容器日志丢失
hadoop、hadoop-yarn、amazon-emr
我们通常可以在"/var/log/hadoop- yarn /containers“路径中看到yarn容器日志。虽然我可以看到成功作业的日志，但我看不到失败作业的日志。节点管理器日志显示日志被删除。2017-07-13 14:16:04,170 INFO org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor (DeletionService #1): Deleting path : /var/log/hadoop-yarn/containers/application_1234567890_123
浏览 9提问于2017-07-19得票数 3
1回答
如何将目录上传到HDFS
python、rest、hadoop、hdfs、webhdfs
我正在做一个项目，在这个项目中，我需要通过REST API将目录从Hadoop集群外部的机器上传到HDFS。基本上，我需要一个命令，以便通过终端(或Python脚本)使用REST API将目录发送到HDFS。
WebHDFS文档中指定的唯一方法是上载单个文件。这适用于使用单个节点作为NameNode和DataNode的HDFS，这是非常默认的配置。
浏览 9提问于2019-07-16得票数 0
1回答
Apache火花ALS算法
python、apache-spark、pyspark、apache-spark-mllib
我想使用Python在Apache上运行一个基于ALS算法的电影推荐应用，我使用的是Spark2.2.0Hadoop2.7，当我想使用这个命令运行应用程序时，我有一个主程序和两个工作人员。我不是在使用HDFS，而是在本地加载数据集，是否需要将数据集复制到所有工作节点？
浏览 1提问于2019-08-18得票数 0
1回答
distcp和s3distcp之间的临时存储使用
hadoop、amazon-s3、distcp
我看了的文档-上面写着，
“在复制操作期间，S3DistCp将临时复制集群上HDFS中的输出。在HDFS中必须有足够的空闲空间来生成数据，否则复制操作就会失败。此外，如果S3DistCp失败，它不会清理临时HDFS目录，因此必须手动清除临时文件。例如，如果您将500 GB的数据从HDFS复制到S3，S3DistCp将整个500 GB的数据复制到HDFS的临时目录中，然后将数据从临时目录上传到S3”。这并不是无关紧要
浏览 1提问于2015-02-09得票数 1
2回答
看不到上传到hadoop的文件
hadoop、putty、pscp
pscp -P 22 part-00003 username@172.31.143.131:/home/username/lab2_hdfs
part-00000 | 758 kB | 758.9 kB/s | ETA: 00:00:00 | 100% 但是当我使用hdfs dfs -ls时，我没有在我的hadoop
浏览 84提问于2020-09-21得票数 0
2回答
运行WordCount MapReduce时不存在输入路径
hadoop、mapreduce
我已经在ubuntu上安装了一个节点集群。我正在尝试执行单词计数程序。我已经创建了jar文件。thread "main" hdfs
浏览 7提问于2017-02-25得票数 1
回答已采纳
3回答
Apache Livy cURL不工作火花提交命令。
scala、apache-spark、curl、hdfs、livy
我最近开始使用Scala、HDFS、sbt和Livy。目前我试图创建livy batch。Warning: Skip remote jar hdfs://localhost:9001/jar/project.jar.
java.lang.ClassNotFoundException: SimpleApp因此，我在hdfs中转换.jar文件。
浏览 0提问于2018-06-21得票数 1
2回答
将文件从HDFS dir传输到sftp服务器
curl、hdfs、sftp、sqoop、sqoop2
我正在尝试将所有部件*文件从一个目录直接从HDFS dir传输到sftp服务器。hdfs文件夹中的所有文件都很大，所以我不想将它们复制到本地文件系统中。当前设置为
curl "<sftp_username>:" --key "<private_key_file_path--pubkey "<public
浏览 8提问于2021-11-22得票数 0
1回答
将文件从wsl复制到运行在码头上的hdfs
hadoop、hdfs、windows-subsystem-for-linux
我正在尝试将文件从本地驱动器复制到hdfs。
我在码头上运行Hadoop作为图像。我尝试在MapReduce上执行一些练习，因此，我希望将数据文件从本地驱动器(假设我的d:驱动器)复制到hdfs。
浏览 2提问于2018-12-27得票数 0
回答已采纳
3回答
第一个hadoop项目错误：“输入路径不存在”
hadoop
PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In我需要在哪里创建" in“文件夹，以便它出现在hdfs:是否需要更新xml文件以指向本地文件系
浏览 1提问于2013-03-04得票数 12
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号