Pyspark删除本地/hdfs文件/文件夹

文章/答案/技术大牛

发布

1回答

pyspark

org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/D:/code/use_spark/output already exists or hdfs://user/output exists 每次我需要手动删除已存在的文件/文件夹时，它都不是很聪明。有没有办法使用pyspark API删除hdfs</em

浏览 139提问于2021-02-07得票数 1

回答已采纳

1回答

在hadoop中使用cat命令时，没有这样的文件或目录

python、hadoop、command-line、terminal

我在一个目录中有两个文件，一个名为word_mapper.py，另一个名为README.md。我尝试在hadoop中使用这些文件，但是当我运行命令hadoop fs -cat README.md | python3 word_mapper.py时，我从终端得到以下响应： 2021-02-12 14

浏览 1提问于2021-02-13得票数 0

1回答

如何使用python在spark中加载sql文件

python、apache-spark、pyspark

我的pySpark版本是2.4，python版本是2.7。我有多行sql文件，需要在spark中运行。与逐行运行不同的是，是否可以将sql文件保存在python (初始化spark)中，并使用submit执行它？我正在尝试用python编写一个通用脚本，以便以后只需要从hdfs文件夹中替换sql文件。import sysimport pyspark.sql.functions

浏览 8提问于2022-02-10得票数 -3

1回答

Pyspark检查hdfs文件夹修改日期

pyspark、hdfs

我是pyspark的新手。想知道pyspark有没有什么函数可以获取HDFS文件夹的修改日期？例如在HDFS中：在pyspark中： magic() print

浏览 13提问于2017-12-21得票数 0

回答已采纳

1回答

如何在Pyspark中创建虚拟(0字节) HDFS文件

python、python-2.7、apache-spark、pyspark

我正在寻找一个python实用程序，它可以让我在HDFS上动态创建一个虚拟文件，而不会接触到本地文件系统。专家们，我有一个简单的要求，我需要用Pyspark代码在HDFS中创建一个虚拟(0字节)文件。基本上，我正在检查HDFS上是否存在x.lock (0字节)文件，如果存在，这意味着我需要等待其他进程(创建它)完成并删除它。如果它不存在，我的作业将创建它并继续执行，最后将其删除。

浏览 12提问于2019-06-25得票数 1

回答已采纳

1回答

PySpark无法将文件从本地移动到HDFS

python、hadoop、hdfs

我正在本地8020端口的机器上运行hadoop。我的名字节点存在于path /usr/local/Cellar/hadoop/hdfs/tmp/dfs/name下。我已经使用Conda安装了一个pySpark项目，并安装了pyspark和hdfs3依赖项。以下是我的代码：from hdfs3 import HDFil

浏览 2提问于2021-06-25得票数 1

回答已采纳

4回答

从pyspark读取hdfs文件

apache-spark、hdfs、pyspark

我正在尝试读取hdfs中的一个文件。这里显示了我的hadoop文件结构。supergroup 2685300 2016-03-06 17:31 /inputFiles/CountOfMonteCristo/BookText.txtfrom pyspark).setAppName("myFirstApp").setMaster("local") textFile =

浏览 6提问于2016-03-07得票数 13

回答已采纳

1回答

如何将Spark集群上用Pandas编写的文件移动到HDFS？

apache-spark、hadoop、pyspark

我正在使用集群模式运行一个星火作业，并使用Pandas编写一些文件，我认为它是在临时目录中编写的，现在我想移动这些文件或在HDFS中编写这些文件。

浏览 7提问于2021-02-16得票数 0

回答已采纳

1回答

Pyspark dataframe在不删除/_temporary文件夹的情况下写入拼图

pyspark、pyspark-sql

df.write.mode("append").parquet(path)我建议将文件写入另一个可以授予删除权限的文件夹，然后将文件复制过来。但是Admin仍然希望我将文件直接写入目标文件夹。有没

浏览 5提问于2019-12-10得票数 0

2回答

如何将外部python库添加到HDFS中？

python、hadoop、apache-spark、hdfs

有没有办法，如何将像这样的外部库添加到hdfs中？似乎pyspark需要外部库才能将它们放在hdfs上的共享文件夹中。Byt因为我使用的是shellscript，它通过外部库运行pyspark脚本，所以无法导入它们。请参阅关于ImportError的post 。

浏览 11提问于2017-07-28得票数 0

1回答

用PySpark读取Cloudera项目中的文件

json、pyspark、cloudera、cdsw

我的Cloudera项目中有一个文件位于"/home/cdsw/npi.json“之下。我尝试使用以下命令从我的“本地”CDSW项目中读取PySpark，但无法使用以下任何命令。

浏览 2提问于2018-10-30得票数 0

回答已采纳

1回答

用于火花的HDFS* Config*

apache-spark、hadoop、pyspark

我想用pyspark从HDFS读取一个文件。守则如下：import pandas as pd import json .appName('PySpark_Neural_Network') \ .config("spark.hadoop.dfs.

浏览 14提问于2022-05-04得票数 0

1回答

从Pyspark访问HDFS失败

ubuntu、hadoop、apache-spark、pyspark、hdfs

Hadoop和Pyspark似乎都能独立正常工作。然而，我没有设法在Pyspark中从HDFS中获取文件。当我尝试从HDFS获取文件时，我得到以下错误：如果我删除了环境变量，一切都会像以前一样工作。

浏览 1提问于2017-09-21得票数 1

1回答

pyspark脚本中的HDFS命令

apache-spark、hadoop、pyspark、hdfs

我正在编写一个简单的pyspark脚本来将hdfs文件和文件夹从一个位置复制到另一个位置。我已经浏览了许多在线文档和答案，但是我找不到一种方法来使用pyspark复制文件夹和文件，或者使用pyspark执行hdfs命令(特别是复制文件夹和文件)。hadoop = sc.

浏览 1提问于2022-05-10得票数 0

2回答

将CSV文件导入Hadoop

csv、hadoop2

我是Hadoop的新手，我有一个文件可以通过命令行导入到hadoop (我通过SSH访问机器) 如何在hadoop中导入文件？我该如何检查(命令)？

浏览 3提问于2015-12-14得票数 11

1回答

HDFS +在HDFS文件夹与本地文件系统文件夹之间创建简单链接

linux、hadoop、hdfs

我在谷歌搜索但没有找到，示例su hdfsLinux本地<em

浏览 0提问于2019-02-26得票数 0

5回答

打开HDFS中存储的文件，以便在VI中编辑

ubuntu、hadoop、hdfs、vi

我想使用VI直接在HDFS中编辑一个文本文件，而不必将它复制到本地，编辑它，然后从本地复制它。这个是可能的吗？编辑:在Cloudera的Hue UI中，这曾经是可能的，但现在不再是这样了。

浏览 22提问于2014-11-07得票数 11

回答已采纳

2回答

如何从hdfs读取文件

python、hadoop、hdfs

在/project1目录下的hadoop文件系统中，我有一个名为mr.txt的文本文件。我需要编写python代码来读取文本文件的第一行，而无需将mr.txt文件下载到本地。但是我无法从hdfs打开mr.txt文件。我试过了： open('hdfs:///project1/mr.txt','r')

浏览 4提问于2017-02-25得票数 3

回答已采纳

1回答

如何从S3存储桶中读取csv文件并在pyspark中创建数据帧？

python-3.x、dataframe、pyspark、apache-spark-sql

我试图从s3读取csv文件并创建数据帧，但没有得到结果。你能教我怎么做吗？Accesskey和Secret key我不会放在这里。我导入了所有的库并创建了spark connection。call last): File "/usr/local/spark-2.0.0-bin-hadoop2.7/python/pysparksrc.zip/py4j/java

浏览 0提问于2020-12-01得票数 0

1回答

Python+PySpark文件本地连接到远程HDFS/Spark/纱线集群

apache-spark、pyspark、hadoop-yarn

我一直在玩HDFS和Spark。我已经在我的网络上设置了一个五个节点集群，运行HDFS、Spark，并由Yarn管理。工作人员正在以客户端模式运行。从主节点，我可以很好地启动PySpark外壳。对于是否以及如何在这个集群上运行python/Pyspark文件，我有几个问题。如果我在其他地方有一个带有PySpark调用的python文件，比如在我的本地dev笔记本电脑上或者在某个地方的码头容器上，那么有什么方法可以在本地运行或

浏览 45提问于2022-10-11得票数 0

回答已采纳

点击加载更多