使用文件系统将数据从本地拷贝到scala中的远程hdfs位置时，hadoop权限被拒绝
在使用文件系统将数据从本地拷贝到Scala中的远程HDFS位置时，如果遇到Hadoop权限被拒绝的问题，可能是由于以下原因导致的：
- 用户权限不足：请确保你拥有足够的权限来执行该操作。在Hadoop中，每个用户都有自己的权限，包括读取、写入和执行等操作。如果你没有足够的权限，可以联系Hadoop管理员或拥有相应权限的用户来执行该操作。
- HDFS目录权限设置不正确：请检查目标HDFS位置的权限设置是否正确。你可以使用Hadoop命令行工具或Hadoop管理界面来查看和修改目录的权限。确保你具有足够的权限来写入数据到目标位置。
- Hadoop服务配置问题：检查Hadoop集群的配置文件，确保文件系统的相关配置正确。特别是检查core-site.xml和hdfs-site.xml文件中的配置项，如fs.defaultFS和dfs.permissions.enabled等。确保这些配置与你的Hadoop集群环境相匹配。
- 网络连接问题：确保你的本地机器可以与远程HDFS位置进行通信。检查网络连接是否正常，防火墙设置是否阻止了连接。你可以尝试使用telnet或ping命令来测试网络连接。
如果以上方法都无法解决问题，建议向Hadoop社区或相关技术论坛寻求帮助，提供详细的错误信息和环境配置，以便其他专家能够更好地帮助你解决问题。
关于文件系统、HDFS、Scala和Hadoop的更多信息，你可以参考腾讯云的相关产品和文档：
- 文件系统（File System）：文件系统是一种用于组织和存储计算机数据的方法。它定义了数据的结构、访问方式和操作规则。腾讯云提供了对象存储（COS）和分布式文件存储（CFS）等文件系统产品，用于满足不同场景下的数据存储需求。了解更多：腾讯云对象存储（COS）、腾讯云分布式文件存储（CFS）
- HDFS（Hadoop Distributed File System）：HDFS是Hadoop生态系统中的分布式文件系统，用于存储和处理大规模数据。它具有高容错性、高吞吐量和可扩展性等特点，适用于大数据处理和分析。了解更多：腾讯云Hadoop
- Scala：Scala是一种基于Java虚拟机（JVM）的多范式编程语言，结合了面向对象编程和函数式编程的特性。它被广泛用于大数据处理和分布式计算领域，与Hadoop等框架集成紧密。了解更多：Scala官方网站
- Hadoop：Hadoop是一个开源的分布式计算框架，用于处理和存储大规模数据。它包括HDFS、MapReduce和YARN等核心组件，提供了可靠、可扩展和高效的数据处理能力。了解更多：腾讯云Hadoop
相关·内容
2回答
我有一个远程服务器和经过身份验证的Hadoop环境。 我想将文件从远程服务器拷贝到Hadoop计算机，再拷贝到HDFS 请建议使用有效的方法/ HDFS命令将文件从远程服务器复制到HDFS。 任何一个例子都会很有帮助。 通常将文件从远程服务器复制到服务器本身的方法是 scp -rp file remote_server:/tmp 但是这种方法不支持直接拷贝到hdfs
浏览 48提问于2020-07-07得票数 1
我已经创建了吡咯烷酮结构化流媒体程序，并试图在齐柏林飞艇笔记本上执行：
%spark.pyspark
query_window = windowedCounts \
.writeStream \
.outputMode("complete") \
.format("memory") \
.queryName("myTable_window") \
.start()
浏览 5提问于2017-05-28得票数 8
为了学习，我在上以独立模式安装了spark和hadoop。我能够在hdfs上进行正常的hadoop操作，而无需使用spark。但当我在火花壳中使用下面的代码时，
val file=sc.textFile("hdfs://localhost:9000/in/file")
scala>file.count()
我得到“输入路径不存在。”错误。核心-site.xml具有值为hdfs://localhost:9000的fs.defaultFS。如果我给本地主机没有端口号，我会得到“连接拒绝”错误，因为它正在侦听默认端口8020。主机名和本地主机设置为etc/host中的回送地址1
浏览 1提问于2016-07-29得票数 0
我正在使用Spark MLlib的ALS类来训练一个MatrixFactorizationModel。我已经为中间rdd设置了一个用于检查点的HDFS (根据ALS类的建议)。rdds开始保存，但当它再次尝试删除它们时，我得到了一个异常：java.lang.IllegalArgumentException: Wrong FS: hdfs://[url], expected: file:///，这是堆栈跟踪：
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://[url],
浏览 4提问于2015-08-13得票数 0
我有一个大的数据，我写在HDFS中的拼图文件。从日志中获取以下异常：
2018-10-15 18:31:32 ERROR Executor:91 - Exception in task 41.0 in stage 0.0 (TID 1321)
org.apache.spark.SparkException: Task failed while writing rows.
at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$Fi
浏览 1提问于2018-10-16得票数 0
回答已采纳
1回答
我以前运行过这段代码
df = sc.wholeTextFiles('./dbs-*.json,./uob-*.json').flatMap(lambda x: flattenTransactionFile(json.loads(x[1]))).toDF()
但现在看来，我得到了
Py4JJavaError: An error occurred while calling o24.partitions.
: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input Pattern hdfs://loca
浏览 0提问于2018-03-24得票数 0
为了设置一个简单的hadoop项目，我遵循本教程：
我的hadoop单节点似乎运行正常。
当我使用以下代码指定In文件夹时：
FileInputFormat.setInputPaths(conf, new Path("In"));
我收到这个错误：
13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not
浏览 1提问于2013-03-04得票数 12
回答已采纳
2回答
我已经构建了一个使用Apache的推荐系统，它的数据集存储在我的项目文件夹中，现在我需要从HDFS访问这些文件。
如何使用Spark从HDFS读取文件？
我就是这样初始化我的星火会话的：
SparkContext context = new SparkContext(new SparkConf().setAppName("spark-ml").setMaster("local")
.set("fs.default.name", "hdfs://localhost:54310").set("f
浏览 0提问于2019-06-15得票数 2
回答已采纳
如何在spark中将文件保存在hdfs服务器上 以下是我的代码 csv_file.write.mode('overwrite').parquet('hdfs:///data/ifckp/docs/csv_files/cs') 下面是我的错误： Py4JJavaError: An error occurred while calling o3621.parquet.
: org.apache.hadoop.security.AccessControlException: Permission denied: user=zeppelin, access=WRITE
浏览 25提问于2020-02-01得票数 0
我有一些火花代码，分析一个输入数据集，是在一个CSV文件。
当我在集群模式下运行它时，我会得到以下错误(在本地模式下，到目前为止它工作得很好)。
我的问题是：
局部变量是否影响不同工作人员中的并行执行？
我使用本地文件作为输入。我必须使用HDFS文件吗？
我相信RDD是并行化的，输入文件可以存储在本地文件系统中。
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode
浏览 2提问于2017-07-12得票数 2
回答已采纳
2回答
我正在尝试在我的集群中安装CDH4.6，该集群由3个节点组成。此3中的一个数据节点根本无法启动。试着用各种可能的方法来寻找和解决这个问题，但是失败了。请帮我解决这个问题。下面是日志。
5:49:10.708 PM FATAL org.apache.hadoop.hdfs.server.datanode.DataNode
Exception in secureMain
java.io.IOException: the path component: '/' is world-writable. Its permissions are 0777. Please fix
浏览 4提问于2014-03-10得票数 1
回答已采纳
当将地板文件从齐柏林执行器保存到HDFS时，我们遇到了问题，如
resultIndexed
.repartition(1)
.write
.parquet(s"hdfs://hdfs-hadoop-hdfs-nn.svc.cluster.local:9000/home/zeppelin/sensor_parquet")
得到了例外：
org.apache.hadoop.security.AccessControlException: Permission denied: user=zeppelin, access=WRITE, inode="/home/zeppelin
浏览 10提问于2021-12-22得票数 -1
回答已采纳
我在ubuntu和hadoop的本地用户中安装了pig和hduser.Pig，在mapreduce模式下的小datasets.started pig在本地模式下工作正常，并尝试实现字数统计，但得到许可拒绝错误如下。原因: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)：权限被拒绝: user=basi，access=WRITE，inode=“/”：hduser:超级组:drwxr-xr-x 在psudomode中启动hadoop，在本地用户: pig -x map
浏览 28提问于2019-05-05得票数 1
我能够将结构化流式传输的结果写入到拼图文件中。问题是这些文件在本地文件系统中，现在我想将它们写入Hadoop文件系统。有没有办法做到这一点？
StreamingQuery query = result //.orderBy("window")
.repartition(1)
.writeStream()
.outputMode(OutputMode.Append())
.format("parquet")
.option("checkp
浏览 9提问于2017-03-01得票数 1
回答已采纳
我的namenode还没启动。
尝试在尝试重新启动之前格式化和删除tmp目录。但它没有出现。
目前，我正在为一个两个节点集群进行调度。我从一个节点机器中克隆了两个节点。并将属性更改为类似于名称节点、作业跟踪器和辅助名称节点的属性。剩下的就换另一个。
在尝试启动名称节点时。我在日志中得到异常。试着搜索，但没有找到任何与我的问题相关的东西。此外，我已经设置了密码较少的ssh，以防任何权限因此而被拒绝。
2015-08-08 12:40:59,005 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/******
浏览 3提问于2015-08-08得票数 3
回答已采纳
它们应该是相等的吗？
但是，为什么"hadoop fs“命令显示hdfs files，而"hdfs dfs”命令显示本地文件？
以下是hadoop的版本信息：
jenkins在Mon Apr 22 10:48:26 PDT 2013编译的 Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git://ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0-mr1-cdh4.2.1/source -r
浏览 138提问于2013-08-09得票数 118
回答已采纳
1回答
我正在尝试按照这个教程来配置我的集群-
https://developer.yahoo.com/hadoop/tutorial/module2.html
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.71.128:9000</value>
</property>
<property>
<name>dfs.data.dir</name
浏览 3提问于2014-11-20得票数 0
1回答
我希望在火花流中使用fileStream来监视多个hdfs目录，例如：
val list_join_action_stream = ssc.fileStream[LongWritable, Text, TextInputFormat]("/user/root/*/*", check_valid_file(_), false).map(_._2.toString).print
买的方式，我不能在三个类别的含义: LongWritable，文本，TextInputFormat
但不管用..。
java.io.FileNotFoundException: File /user/roo
浏览 1提问于2015-05-13得票数 0
我无法从HDFS (Intel分发版hadoop，Hadoop版本为1.0.3)中读取火花-shell(火花版本为1.2.1)。我使用命令mvn -Dhadoop.version=1.0.3 clean package构建了spark，启动了spark，并使用sc.textFile()读取了一个HDFS文件，例外情况是：
警告hdfs.DFSClient:未能连接到/10.xx.xx.xx:50010，添加到deadNodes和continuejava.net.SocketTimeoutException: 120000 millis超时等待通道准备阅读。java.nio.channels.
浏览 5提问于2015-02-26得票数 0
1回答
我已经在本地windows机器上的linux中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上，我已经安装了Spark。在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。
val lines = sc.textFile("hdfs://MyIP:9000/Data/sample.txt")
当保存一个用于HDFS saveAsTextFile("hdfs://MyIP:9000/Data/Output")的文件时，我得到以下错误：
org.apache.hadoop.security.AccessCo
浏览 1提问于2018-09-16得票数 0
回答已采纳
我是Hadoop的新手，根据官方定义，我在core-site.xml中找到了默认的F：
the default path prefix used by the Hadoop FS client when none is given
有没有人能解释一下呢？
例如，我在本地使用hdfs Java API，我猜我就是客户端，那么它是否只用于设置连接地址，如"hdfs://defaultFsAddress:8020/，还有其他用途吗？
浏览 2提问于2016-03-18得票数 0
在Hadoop3.0的终端上发出命令将文件从本地文件系统复制到HDFS时，会出现错误
hadoop-3.0.0/hadoop2_data/hdfs/datanode': No such file or directory:
`hdfs://localhost:9000/user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode.
但是，我已经检查了目录hadoop-3.0.0/hadoop2_data/hdfs/datanode是否具有适当的访问权限。我试着从Web浏览器上传文件，它显示了以下错误。
"Couldn't find
浏览 0提问于2018-02-18得票数 1
回答已采纳
集群模式下的星火流正在抛出FileNotFoundException和linux文件系统(GFS -跨所有节点共享文件系统)，但是在HDFS作为输入时工作得很好。
在此路径上，所有工作节点上的数据实际上是可用的和可访问的。
JavaPairInputDStream<Text, Text> myDStream =
jssc.fileStream(path, Text.class, Text.class, customInputFormat.class, new Function<Path, Boolean>() {
@Override
pu
浏览 0提问于2015-06-03得票数 1
回答已采纳
我在资源文件夹中需要读取/写入HDFS的所有4个文件，创建hdfs对象的方法如下所示。
public static FileSystem getHdfsOnPrem(String coreSiteXml, String hdfsSiteXml, String krb5confLoc, String keyTabLoc){
// Setup the configuration object.
try {
Configuration config = new Configuration();
config.addRe
浏览 22提问于2022-04-03得票数 0
1回答
当我试图远程运行一个map-还原作业(单词计数示例)时，我遇到了一些问题。在google上搜索之后，我仍然无法实现我的目标。我只看到很少有关于远程调用map的主题--还原作业。以下是问题：
首先，我遇到了许可问题：
严重: cause:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: as:拒绝用户PriviledgedActionException权限: user=user，access=WRITE，inode=“mapred”：Pri
浏览 1提问于2013-04-23得票数 4
从我读过的各种博客中，我了解到HDFS是计算机中存在于本地文件系统之上的另一层。
我也安装了hadoop，但我很难理解本地文件系统上是否存在hdfs层。
这是我的问题..
假设我是在伪分布式模式下安装hadoop。在此安装过程中，幕后发生了什么？我在配置文件中添加了一个tmp.dir参数。当namenode守护进程尝试访问datanode时，它是否与单个文件夹对话？？
浏览 2提问于2013-05-29得票数 6
回答已采纳
我试图找出在Hadoop集群中将内容/文件写入HDFS的各种方法。
我知道有org.apache.hadoop.fs.FileSystem.get()和org.apache.hadoop.fs.FileSystem.getLocal()来创建输出流并逐字节写入。如果您使用的是OutputCollector.collect()，这似乎并不是为HDFS编写的预期方式。我相信您在实现Mappers和减速器时必须使用Outputcollector.collect()，如果我错了，请纠正我。
我知道您可以在运行作业之前设置FileOutputFormat.setOutputPath()，但是看起来它只能
浏览 4提问于2014-05-07得票数 0
回答已采纳
4回答
我使用Cloudera存储库在CentOS上构建了一个单节点Hadoop环境。当我想要将本地文件复制到HDFS时，我使用了以下命令：
sudo -u hdfs hadoop fs -put /root/MyHadoop/file1.txt /
但是，结果让我很沮丧：
put: '/root/MyHadoop/file1.txt': No such file or directory
我相信这个文件确实存在。
请帮帮我，谢谢！
浏览 1提问于2013-08-28得票数 26
回答已采纳
从Windows复制到远程HDFS的正确语法是什么？
我试图使用RStudio将文件从本地计算机复制到远程hadoop集群
rxHadoopCopyFromLocal("C:/path/to/file.csv", "/target/on/hdfs/")
这个扔了
copyFromLocal '/path/to/file.csv': no such file or directory`
注意C:/消失了。
此语法也会失败。
rxHadoopCopyFromLocal("C:\\path\\to\\file.csv", "/t
浏览 6提问于2017-05-23得票数 0
回答已采纳
在Hadoop的文件系统中，我有Excel文件。
我的任务是在我的Hadoop应用程序中将该文件从SFTP复制到远程SFTP服务器。
我已经形成了这样的观点，即它直接行不通。如果我的担心是正确的，我需要做下一步：
1)将excel文件从Hadoop删除到本地目录。例如，我可以使用Scala实现它：
import scala.sys.process._
s"hdfs dfs -copyToLocal /hadoop_path/file_name.xlsx /local_path/" !
2)从本地目录向远程SFTP服务器发送文件。对于这个任务，您可以推荐什么样的库？
我的推理正确
浏览 0提问于2019-08-29得票数 2
回答已采纳
这是我的情况：
Apache spark版本2.4.4
Hadoop版本2.7.4
我的应用程序jar位于hdfs中。
我的spark-submit看起来像这样：
/software/spark-2.4.4-bin-hadoop2.7/bin/spark-submit \
--class com.me.MyClass --master spark://host2.local:7077 \
--deploy-mode cluster \
hdfs://host2.local:9000/apps/myapps.jar
我得到了这个错误：
Exception in thread "main&
浏览 0提问于2019-10-15得票数 0
我试图更改NameNode使用的端口(默认端口50070)
网站：
似乎表明所使用的配置是etc/hadoop/core-site.xml。
我在core-site.xml中放置了以下内容
<property>
<name>dfs.http.address</name>
<value>80</value>
</property>
但是它不会更改namenode使用的端口。
我已经尝试过将core-site.xml放在hadoop文件夹下的几个地方，包括conf/ and /hadoop，但是它仍然没有改变N
浏览 0提问于2016-02-04得票数 0
回答已采纳
可能是什么原因造成了以下的问题。我以根用户的身份运行了脚本。我相信根用户一定有超级用户权限。它失败了，出现了以下错误
mkdir:无法创建目录‘/var/log/hadoop’：权限被拒绝
(base) [root@localhost ~]# cat /tmp/hadoop-service-startup.log
STARTING NAMENODE
WARNING: HADOOP_NAMENODE_OPTS has been replaced by HDFS_NAMENODE_OPTS. Using value of HADOOP_NAMENODE_OPTS.
WARNING: /var/
浏览 2提问于2020-09-05得票数 0
1回答
我正在测试env上运行火花结构化流。有时，找不到某个检查点文件的作业失败。
其中一个原因可能是卡夫卡的主题保留时间很短。但我已经将.option("failOnDataLoss", "false")添加到SparkSession中了。
我对火花检查点有一些基本的(非常基本的)理解。如果删除检查点dir，我认为应该恢复它。但是，正如我测试的那样，一旦发生了这个错误，删除dir就没有帮助了。我需要使用不同的检查点dir来修复它。
为什么删除检查点dir不起作用？或者是否有一种方法/选项可以帮助避免此错误？
diagnostics: User class t
浏览 0提问于2018-02-02得票数 8
2回答
当我使用Teradata的HCTAS过程在Hadoop中创建表时，遇到了问题。
我调用HCTAS来创建表，
CALL SYSLIB.HCTAS('test_table',null,null,'myserver','default');
*** Procedure has been executed.
但是，当我尝试向该表中插入数据时，我得到了一个拒绝的权限。
INSERT INTO test_table@myserver SELECT * FROM test_table;
*** Failure 7810 [TblOp] Permission
浏览 4提问于2015-08-06得票数 0
我有一个本地VM，它安装了Hortonworks、Hadoop和hdfs。我从我的机器将ssh'ed复制到VM中，现在我试图通过以下命令将文件从本地文件系统复制到hdfs中：
[root@sandbox ~]# sudo -u hdfs hadoop fs -mkdir /folder1/
[root@sandbox ~]# sudo -u hdfs hadoop fs -copyFromLocal /root/folder1/file1.txt /hdfs_folder1/
当我执行它时，我会得到以下错误为- copyFromLocal:/root/folder1/file1.txt
浏览 2提问于2016-01-16得票数 4
2回答
我是hadoop的新手，有人能建议我如何上传数百万条记录到hadoop吗？我能用蜂箱做这件事吗?我在哪里能看到我的hadoop记录？
到目前为止，我一直使用hive在hadoop上创建数据库，并使用localhost 50070访问它。但是我无法将数据从csv文件从终端加载到hadoop。因为它给了我错误：
失败:语义分析错误:第2:0行无效路径‘/用户/本地/hadoop/共享/hadoop/hdfs’：没有匹配路径hdfs://localhost:54310/usr/local/hadoop/share/hadoop/hdfs的文件
有人能建议我解决这个问题吗？
浏览 0提问于2015-09-29得票数 1
回答已采纳
2回答
我正在尝试让kafka spark流媒体消费者与Kafka经纪人合作，并使用SSL进行安全保护。使用者在Kerberised集群上运行。因此，我的使用者代码使用以下配置：
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="(username)" password="(password)";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
使用者失败，出现以下异常
Caused
浏览 1提问于2018-06-22得票数 0
3回答
我目前正在阅读关于hadoop的文章，这让我感到困惑(请记住，当涉及到hadoop时，我完全是新手)-
使用Hadoop get命令将文件从HDFS拷贝到本地文件系统：
$ hadoop hdfs dfs -get file_name /user/login_user_name
什么是本地文件系统？我知道HDFS在整个集群中将文件划分为不同的块(但我知道还有更多)。我对上述命令的理解是，我可以将文件从集群复制到我的个人(即本地)计算机上？或者这是完全错误的吗？我只是不完全确定什么是本地文件系统。
浏览 3提问于2017-03-22得票数 0
我目前正在开发一个从Hadoop集群读取Avro文件的Flink 1.4应用程序。但是，在我的IDE上以本地模式运行它工作得很好。但是，当我将其提交到Jobmanager Flink时，它总是失败，并显示以下消息：
java.io.IOException: Error opening the Input Split hdfs://namenode/topics/CaseLocations/partition=0/CaseLocations+0+0000155791+0000255790.avro [0,16549587]: Could not find a file system implem
浏览 207提问于2018-02-14得票数 7
我试图从spark中的一个拼图文件中读取，与另一个rdd进行联合，然后将结果写入我从其中读取的相同文件中(基本上是覆盖)，这会抛出以下错误：
couldnt write parquet to file: An error occurred while calling o102.parquet.
: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
TungstenExchange hashpartitioning(billID#42,200), None
+- Union
:-
浏览 0提问于2016-05-06得票数 8
根据星星之火结构化流文档：“此检查点位置必须是HDFS兼容的文件系统中的路径，并且可以在启动查询时设置为DataStreamWriter中的选项。”
当然，将检查点设置为s3路径会抛出：
17/01/31 21:23:56 ERROR ApplicationMaster: User class threw exception: java.lang.IllegalArgumentException: Wrong FS: s3://xxxx/fact_checkpoints/metadata, expected: hdfs://xxxx:8020
java.lang.IllegalArgumen
浏览 8提问于2017-02-02得票数 9
回答已采纳
1回答
我在EMR上运行了几个hadoop作业。其中一些作业需要处理日志文件。日志文件很大，每个文件都是.gz格式的，大约3 3GB。日志存储在S3上。
目前，我使用m1.xlarge进行处理，仅将日志文件从S3复制到HDFS就需要大约3个小时。这里，瓶颈是从S3读取还是写入HDFS？
我的计划是使用新的基于hi1.4xlarge的固态硬盘，因为它有快速的I/O，而不是m1.xlarge。但它会有助于降低成本吗？
但是hi1.4xlarge的成本比m1.xlarge要高得多。
m1.xlarge -8 EC2计算单位@ 0.614$每个= 4.912 $ /hour h1.4xlarge - 35 E
浏览 0提问于2012-10-11得票数 0
它与这个问题相关[创建表xxx作为select * from yyy有时会出错
]
当使用星火节约服务器时，执行像create table xxx as select * from yyy这样的多条语句，只有第一次才会成功，以后的尝试总是会因为java.io.IOException: Filesystem closed或doAs问题而失败。
完整的错误堆栈跟踪：
17/05/29 08:44:53 ERROR thriftserver.SparkExecuteStatementOperation: Error executing query, currentState RUNNING,
org
浏览 5提问于2017-05-29得票数 2
回答已采纳
1回答
嗨，我的reqmnt是从http://10.3.9.34:9900/messages创建分析，即从http://10.3.9.34:9900/messages中提取数据，并将这些数据放在HDFS /user/cloudera/flume和HDFS报告中，使用Tableau或HUE UI。我在code 5.5的星火壳的scala控制台尝试了下面的代码，但是无法从http链接中获取数据。
import org.apache.spark.SparkContext
val dataRDD = sc.textFile("http://10.3.9.34:9900/messages")
d
浏览 4提问于2016-08-03得票数 0
1回答
我正在尝试将Hadoop作为单节点集群在我的机器上运行。我完成了安装步骤，所以Hadoop已经在我的系统上了。
但是，当我运行start-all.sh，然后我检查jps是否正在运行NameNode时，我得到的是：
20053 Jps
19944 NodeManager
我已经尝试过先运行start-dfs.sh，然后运行start-yarn.sh，但都不起作用。
我还尝试使用以下命令格式化NameNode
hadoop namenode -format
但是我不能这样做，我得到了错误：
15/07/15 16:34:19 WARN namenode.NameNode: Encountered
浏览 1提问于2015-07-15得票数 1
1回答
我正在学习Scala，我需要将一个自定义文件写入HDFS。我在笔记本电脑上使用vmware fusion在Cloudera映像上运行自己的HDFS。
这是我的实际代码：
package org.glassfish.samples
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.PrintWriter;
/**
* @author ${user.name}
*/
object
浏览 0提问于2015-09-03得票数 7
回答已采纳
用户rok上传文件，权限设置为770。HDFS上的文件如下所示：
-rw-rw---- 3 rok hdfs filename1
我正在使用ksc用户来使用rok用户上传的数据。因此，首先，我要确保ksc拥有对该文件filename1的权限。
如何找到我的用户ksc的组名？用户是否属于Hadoop中的hdfs组？
顺便说一句，如果我上传一个文件到Hadoop，文件权限如下：
-rw-r--r-- 3 ksc ksc filename2
我的Linux of ksc用户的本地信息是：
uid=504(ksc) gid=502(ksc) groups=502(ksc)
浏览 3提问于2013-09-05得票数 4
1回答
我安装了hadoop 2.7，在core-site.xml和hdfs-site.xml中设置了路径和配置，如下所示：
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://<ip_addr>:9000/</value>
</property>
<property>
<name>dfs.data.dir</name>
浏览 3提问于2017-02-14得票数 0
1回答
我们希望将本地文件复制到HDFS
示例
su hdfs -c 'hadoop fs -put -f /tmp/hadoop-streaming.jar /hdp/apps/2.6.4.0-91/mapreduce'
此命令实际上是将用户切换到HDFS，并将/tmp下的本地文件复制到/hdp/apps/2.6.4.0-91/mapreduce
最大的问题是-如何知道文件传输是否成功？
只捕获$可以吗？从CLI？
作为
su hdfs -c 'hadoop fs -put -f /tmp/hadoop-streaming.jar /hdp/apps/2.6.4.0-91
浏览 17提问于2019-10-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
