Pyspark删除本地/hdfs文件/文件夹
Pyspark是一种基于Python的分布式计算框架，用于在大规模数据集上进行数据处理和分析。在Pyspark中，可以使用以下方法来删除本地文件、HDFS文件或文件夹：
- 删除本地文件：
使用Python的
os模块或shutil模块可以删除本地文件。以下是示例代码： - 删除本地文件：
使用Python的
os模块或shutil模块可以删除本地文件。以下是示例代码： - 删除HDFS文件或文件夹：
可以使用Pyspark的
SparkFiles模块来删除HDFS文件或文件夹。以下是示例代码： - 删除HDFS文件或文件夹：
可以使用Pyspark的
SparkFiles模块来删除HDFS文件或文件夹。以下是示例代码：
在删除本地文件或文件夹时，需要确保具有足够的权限，并且要小心操作，以避免意外删除重要文件。在删除HDFS文件或文件夹时，需要确保Pyspark应用程序具有足够的权限来操作HDFS。
关于Pyspark的更多信息和相关产品，你可以参考腾讯云的以下资源：
请注意，以上只是提供了一种可能的答案，实际上还有其他方法和技术可以用于删除文件和文件夹。
相关·内容
我是pyspark的新手。想知道pyspark有没有什么函数可以获取HDFS文件夹的修改日期？
例如在HDFS中：
在pyspark中：
def get_user_folder_update_date():
magic()
return update_time
print get_user_folder_update_date()
2017-12-20
浏览 13提问于2017-12-21得票数 0
回答已采纳
我正在本地8020端口的机器上运行hadoop。我的名字节点存在于path /usr/local/Cellar/hadoop/hdfs/tmp/dfs/name下。我已经使用Conda安装了一个pySpark项目，并安装了pyspark和hdfs3依赖项。
以下是我的代码：
from pyspark.sql import SparkSession
from hdfs3 import HDFileSystem
spark = SparkSession.builder.appName('First Project').getOrCreate()
hdfs = HDFileSys
浏览 2提问于2021-06-25得票数 1
回答已采纳
2回答
有没有办法，如何将像这样的外部库添加到hdfs中？似乎pyspark需要外部库才能将它们放在hdfs上的共享文件夹中。Byt因为我使用的是shellscript，它通过外部库运行pyspark脚本，所以无法导入它们。
请参阅关于ImportError的post 。
浏览 11提问于2017-07-28得票数 0
1回答
我正在编写一个简单的pyspark脚本来将hdfs文件和文件夹从一个位置复制到另一个位置。我已经浏览了许多在线文档和答案，但是我找不到一种方法来使用pyspark复制文件夹和文件，或者使用pyspark执行hdfs命令(特别是复制文件夹和文件)。
下面是我的代码
hadoop = sc._jvm.org.apache.hadoop
Path = hadoop.fs.Path
FileSystem = hadoop.fs.FileSystem
conf = hadoop.conf.Configuration()
fs = FileSystem.get(conf)
source = hadoop.
浏览 1提问于2022-05-10得票数 0
我在谷歌搜索但没有找到，
是否可以在HDFS文件夹与本地文件夹之间创建链接？
示例
我们希望在HDFS中的/home/hdfs_mirror本地文件夹中的folder_1之间创建链接。
HDFS文件夹：
su hdfs
$ hdfs dfs -ls /hdfs_home/folder_1
Linux本地文件夹：
ls /home/hdfs_mirror
浏览 0提问于2019-02-26得票数 0
我一直在玩HDFS和Spark。我已经在我的网络上设置了一个五个节点集群，运行HDFS、Spark，并由Yarn管理。工作人员正在以客户端模式运行。从主节点，我可以很好地启动PySpark外壳。运行示例jars时，作业被分割成工人节点，并很好地执行。
对于是否以及如何在这个集群上运行python/Pyspark文件，我有几个问题。
如果我在其他地方有一个带有PySpark调用的python文件，比如在我的本地dev笔记本电脑上或者在某个地方的码头容器上，那么有什么方法可以在本地运行或提交这个文件并让它在远程Spark集群上执行呢？我想知道的方法包括在本地/docker环境中运行submit，但
浏览 45提问于2022-10-11得票数 0
回答已采纳
1回答
我有一个由hadoop集群组成的头节点，我看到pyspark安装在hdfs集群中，即我可以在hdfs user.But内使用pyspark shell，用户头节点没有安装pyspark。因此，我无法访问hdfs中的文件并将其带到jupyter笔记本中我是否可以使用jupyter笔记本中hdfs中的pyspark。我在用户头节点中安装了pyspark，但我无法访问hdfs文件。我假设jupyter不能使用安装在hdfs.How中的spark来启用它，以便我可以访问jupyter中的hdfs文件。 现在，当我访问jupyter内部的hdfs文件时， It says 'Spark is n
浏览 45提问于2019-01-22得票数 0
2回答
我已经构建了一个小的数据管道，它将一些虚构的测试数据从本地目录(json-格式)移动到hdfs (avro格式)。这似乎是正确的(没有由水槽显示的错误)，但错误可能已经存在于这里。下一步是使用databricks加载程序将一个avro文件转换为某个(只有python库可以找到)。现在让我解释一下我是如何做到的，这样您就可以看到我可能失败的地方了：
1)使用flume从json文件中创建avro文件
我的目标是将json数据从本地目录推送到HDFS，这样我就可以使用pySpark来分析它。我用的是水槽。由于json对HDFS的压缩很差，所以我还使用以下flume.conf将每个文件转换为avro
浏览 1提问于2018-09-03得票数 1
我正在执行rdd.saveAsTextFiles(path)，但有时，它会报告错误： py4j.protocol.Py4JJavaError: An error occurred while calling o41.saveAsTextFile.
: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/D:/code/use_spark/output already exists or hdfs://user/output exists 每次我需要手动删除已存在的文件/文件夹时，它都不是很聪明
浏览 139提问于2021-02-07得票数 1
回答已采纳
我是Spark和pyspark的新手。
我使用rdd，经过hdfs处理后，我尝试使用saveAsTextfile()函数将其保存到hdfs中。但是我得到了一条‘权限被拒绝的’错误消息，因为pyspark试图使用我的本地帐户'kjlee‘编写hdfs，而hdfs系统上并不存在这个帐户。
我可以通过SparkContext().sparkUser()检查星火用户名，但是我找不到如何更改星火用户名。
如何更改星火用户名？
浏览 2提问于2015-09-30得票数 10
回答已采纳
我有一个运行shell脚本的简单工作流(见下文)。shell脚本运行pyspark脚本，该脚本将文件从本地移动到hdfs文件夹。
当我运行shell脚本本身时，它工作得很好，日志通过shell脚本中的> spark.txt 2>&1重定向到一个文件夹。
但是，当我使用以下工作流提交oozie作业时，shell的输出似乎被抑制了。我尝试重定向所有可能的oozie logs (-verbose -log) > oozie.txt 2>&1，但是没有帮助。
工作流已成功完成(状态SUCCESSEDED，没有错误日志)，但我看到，文件夹没有复制到hdfs，但是当
浏览 2提问于2017-07-26得票数 1
回答已采纳
我在同一台机器上有一个Spark集群和一个Hdfs。我已经在每台机器的本地文件系统和hdfs分布式文件系统上复制了一个大约3G字节的文本文件。
我有一个简单的字数统计程序。
如果我提交从本地文件系统读取文件的程序，它大约持续33秒。如果我提交从hdfs读取文件的程序，它大约持续46秒。
为什么？我所期望的结果正好相反。
在sgvd的请求后添加：
16个从站1个主站
Spark Standalone，无特殊设置(复制系数3)
版本1.5.2
import sys
sys.path.insert(0, '/usr/local/spark/python/')
sys.path.ins
浏览 0提问于2016-01-13得票数 5
我试图将数据从远程HDFS文件系统加载到本地Mac计算机上的本地PySpark会话：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
spark = SparkSession.builder.getOrCreate()
path = "/xx/yy/order_info_20220413/partn_date=20220511/part-00085-dd.gz.parquet"
host = "host"
port = 1234
orders = spark
浏览 23提问于2022-08-13得票数 0
3回答
在边缘节点上运行的java应用程序中，我需要删除hdfs文件夹(如果存在)。在运行文件夹中输出的mapreduce作业(使用spark)之前，我需要这样做。
我发现我可以用这个方法
org.apache.hadoop.fs.FileUtil.fullyDelete(new File(url))
但是，我只能让它与本地文件夹(即运行计算机上的文件url )一起工作。我试着使用类似这样的东西：
url = "hdfs://hdfshost:port/the/folder/to/delete";
其中hdfs://hdfshost:port是hdfs namenode IPC。我将它
浏览 1提问于2015-02-27得票数 9
回答已采纳
我有一个问题--如何用sc.textFile在PySpark上加载本地文件(不是在HDFS上，也不是在PySpark上)。我读取，然后将sales.csv复制到主节点的本地(而不是HDFS)，最后执行以下操作
sc.textFile("file:///sales.csv").count()
但是它返回以下错误，即file:/click_data_sample.csv does not exist
z:org.apache.spark.api.python.PythonRDD.collectAndServe.：调用Py4JJavaError时出错：ip-17x-xx-xx-xx
浏览 7提问于2016-02-01得票数 20
我正在寻找一个python实用程序，它可以让我在HDFS上动态创建一个虚拟文件，而不会接触到本地文件系统。 专家们，我有一个简单的要求，我需要用Pyspark代码在HDFS中创建一个虚拟(0字节)文件。基本上，我正在检查HDFS上是否存在x.lock (0字节)文件，如果存在，这意味着我需要等待其他进程(创建它)完成并删除它。如果它不存在，我的作业将创建它并继续执行，最后将其删除。
浏览 12提问于2019-06-25得票数 1
回答已采纳
我有一个c#应用程序，可以创建拼花文件并将其上传到远程HDFS。如果我使用scp将文件复制到安装了HDFS客户端的目标计算机上，然后"hdfs将该文件放入“HDFS中，那么spark可以正确地读取该文件。
如果我使用curl对webhdf服务直接从客户端应用程序将该文件上传到HDFS，则在尝试读取parquet文件时从Spark获得以下错误：
df = "/usr/hdp/current/spark2-client/python/pyspark/sql/readwriter.py"，(“/tmp/test.parquet”)追溯(最近一次调用)：File“，第1行，在
浏览 0提问于2018-12-04得票数 0
我需要将一个文件夹从本地文件系统复制到HDFS。我找不到任何将文件夹(包括其所有子文件夹)移动到HDFS的示例
$ hadoop fs -copyFromLocal /home/ubuntu/Source-Folder-To-Copy HDFS-URI
浏览 0提问于2015-01-29得票数 76
我遇到了一个非常困难的情况:我需要解析中的一堆html文件，但是我仍然希望使用BeautifulSoup来解析html文件。目前的困境是：
如果我将这些html文件保存在HDFS中，并使用pyspark读取html文件，则只能以 RDD 的形式读取它们，但不能将RDD作为BeautifulSoup中的输入参数；
如果我将这些html文件保存在本地，并使用BeautifulSoup来解析html文件，则不会使用pyspark的强大功能。
我该怎么做呢？
浏览 0提问于2017-10-23得票数 2
我的项目中有一个使用.txt处理多个PySpark消息文件的要求。文件从本地dir移动到HDFS路径(hdfs://messageDir/..)使用批处理和每批处理，我可以看到几千个.txt文件，它们的总大小约为100 is。几乎所有的文件都小于1MB。
我可以知道HDFS如何存储这些文件并执行拆分吗？因为每个文件都小于1MB(小于64/128 MB的HDFS块大小)，所以我认为不会发生任何分裂，但是文件将被复制并存储在3个不同的数据节点中。
当我使用Spark读取HDFS目录中的所有文件时(hdfs://messageDir/.)使用像*.txt这样的外卡匹配，如下所示：
rdd = sc.
浏览 2提问于2018-10-21得票数 0
回答已采纳
我使用的企业集群同时具有本地和HDFS文件系统。我需要处理的文件是netcdf格式的，因此我使用SciSpark加载。在没有HDFS的工作站上，代码从本地文件夹读取。但是，如果存在HDFS文件夹，它将尝试仅从HDFS读取。由于文件夹中的文件很大(累积到数百GB到to )，我不得不将它们复制到HDFS，这是低效和不方便的。我用来加载文件的(Scala)代码如下所示： val ncFilesRDD = sc.netcdfDFSFiles(ncDirectoryPath, List("x1", "x2", "x3"))
val ncFileCRDAr
浏览 23提问于2020-10-13得票数 1
回答已采纳
我试图在纱线-集群模式上提交python应用程序。
Seq(System.getenv("SPARK_HOME")+"/bin/spark-submit","--master",sparkConfig.getString("spark.master"),"--executor-memory",sparkConfig.getString("spark.executor-memory"),"--num-executors",sparkConfig.getString("spark
浏览 3提问于2016-01-06得票数 2
我正在使用ConfigParser读取传递给我的pyspark程序的键值。当我从hadoop集群的边缘节点执行时，代码工作正常，配置文件在边缘节点的本地目录中。如果配置文件被上传到hdfs路径，并且我尝试使用解析器访问相同的路径，则不会发生这种情况。 配置文件para.conf包含以下内容 [tracker]
port=9801 在本地客户端模式下，使用本地目录中的para.conf来访问我正在使用的值。 from ConfigParser import SafeConfigParser
parser = SafeConfigParser()
parser.read("para.co
浏览 23提问于2019-04-10得票数 1
回答已采纳
我遇到了一个困惑的问题，我想上传一个hdfs文件到所有星火workers.The代码如下：
import sys
import os
from pyspark.ml.feature import Word2Vec
from pyspark import SparkConf, SparkContext
from pyspark.sql import Row
import jieba.posseg as posseg
import jieba
if __name__ == "__main__":
reload(sys)
sys.setdefaultenco
浏览 0提问于2018-08-20得票数 2
回答已采纳
1回答
我正在使用pyspark 2.1
问题语句:需要验证hdfs path，如果存在文件需要将文件名复制到变量中
下面是迄今为止在引用了少数网站和stackoverflow之后使用的代码
import os
import subprocess
import pandas as pd
import times
def run_cmd(args_list):
print('Running system command: {0}'.format(' '.join(args_list)))
proc = subprocess.Popen(args_lis
浏览 4提问于2017-08-20得票数 0
回答已采纳
1回答
从Pyspark访问HDFS失败
、、、、
Hadoop和Pyspark似乎都能独立正常工作。然而，我没有设法在Pyspark中从HDFS中获取文件。当我尝试从HDFS获取文件时，我得到以下错误：
我在另一篇文章中读到，需要设置环境变量HADOOP_CONF_DIR来访问HDFS。我也这样做了(见下一个截图)，但是我得到了另一个错误，Pyspark不再工作。
如果我删除了环境变量，一切都会像以前一样工作。
浏览 1提问于2017-09-21得票数 1
我正在尝试将pyspark数据帧保存到hdfs文件夹中。这段代码在函数外部运行良好，但一旦我尝试将其放入函数中，就会遇到错误。这可能是我引用函数参数的一个例子。谢谢你的帮助。 def save_file(df):
start_time = time.time()
df.createOrReplaceTempView("df")
hc.sql("create table hdfs_folder.{} as select * from {}".format(df,df))
print("{} saved in hdf
浏览 2提问于2020-03-20得票数 0
回答已采纳
3回答
我正在使用Python，我需要直接通过python获取文件夹(另存为HDFS)中的文件名列表，并将文件(即.wav文件)的名称与它们的路径(我只需要名称)分开。我在想，也许我可以使用pyspark或子进程，但它们只给出了整个'path+filename‘作为字节，而不是分隔，很难将它们分开。如果有人能帮我解决这个问题，我将不胜感激。
import subprocess
p = subprocess.Popen("hdfs dfs -ls <directory>",
shell=True,
stdout=subprocess.PIPE,
stderr=su
浏览 2提问于2018-02-22得票数 2
我正在使用pyspark对csv文件做一些工作，因此我需要导入从下载的软件包-csv_2.10-1.4.0.jar
由于代理问题，我将jar下载到本地。
有人能告诉我引用本地jar的正确用法是什么吗？
下面是我使用的代码：
pyspark --jars /home/rx52019/data/spark-csv_2.10-1.4.0.jar
但是，当我运行时，它将像预期的那样将我带到pyspark shell：
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true'
浏览 3提问于2017-08-03得票数 0
1回答
我在Ambari上使用spark 2.1.1和hadoop 2.6时遇到了问题。我首先在本地计算机上测试了我的代码(单节点，本地文件)，一切工作正常：
from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.master('yarn')\
.appName('localTest')\
.getOrCreate()
data = spark.read.format('orc').load('mydata/*.orc'
浏览 9提问于2017-07-13得票数 7
回答已采纳
我目前正在通过本地模式运行PySpark。我希望能够通过S3高效地输出拼花文件到。这个PySpark实例使用的是本地磁盘，而不是HDFS，因为它是通过spark-submit --master local[*]提交的。
我可以在不启用目录提交器的情况下成功地写入我的S3实例。但是，这需要将暂存文件写入S3并重命名它们，这是缓慢和不可靠的。我希望斯派克将我的本地文件系统写成临时存储，然后复制到S3。
我的PySpark conf中有以下配置：
self.spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "
浏览 8提问于2021-12-24得票数 0
回答已采纳
我们知道，在运行rmr命令时，将创建编辑日志。数据节点是在清除数据之前等待对FSImage的更新，还是同时发生这种情况？是否有任何关于确认来自日志节点的事务的先决条件？只是想了解HDFS是如何编辑的，这样您就可以对磁盘大小进行大幅度的更改。“hdfs dfs -du -s -h /folder”和“hdfs dfsadmin -report”将需要多长时间才能反映缩小的大小？我们尝试删除2TB的数据，1小时后，数据节点本地文件夹(/ data /yarn/datanode)仍未减少2TB。
浏览 1提问于2014-10-08得票数 2
回答已采纳
1回答
我有一个归档文件(基本上是捆绑的conda环境+我的应用程序)，我可以轻松地在纱线主模式下使用pyspark：
PYSPARK_PYTHON=./pkg/venv/bin/python3 \
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./pkg/venv/bin/python3 \
--master yarn \
--deploy-mode cluster \
--archives hdfs:///package.tgz#pkg \
app/MyScript.py
这就像预期的一样，这一点也不奇怪。
现在，如果M
浏览 1提问于2020-06-17得票数 1
回答已采纳
1回答
在我的程序中，我使用的是fs.copyFromLocalFile(本地路径，Hdfs路径)。每次从本地机器复制文件之前，我都会删除HDFS上的目标路径。但是，在从Local复制文件并在其上实现map还原之后，它会生成每个文件的两个副本，因此单词计数会加倍。
要明确的是，我的本地路径是“Home/user/桌面/input/”，而HDFS的最大路径是"/input“。
当我检查HDFS目标路径时，即应用映射减少的文件夹--这就是结果
hduser@rallapalli-Lenovo-G580:~$ hdfs dfs -ls /input
14/03/30 08:30:12 WARN
浏览 1提问于2014-03-30得票数 0
回答已采纳
1回答
我正在尝试运行我的pyspark代码。我的目标目录是本地目录。我用来提交spark-submit命令的用户是超级用户，并且拥有从hdfs读取文件并将文件写入本地的所有权限。
作业正在运行，没有任何错误，但没有创建输出目录或文件。
我已经在我的spark代码中将HADOOP_USER_NAME设置为超级用户，以避免权限问题。
有人能帮帮忙吗？
浏览 12提问于2019-07-16得票数 2
我在hdfs中创建了一个文件夹，它的名称是“\”。如何删除或访问该文件夹？我不能那样做。
我尝试在\user\prime\temp\nipun\cddsIdNotinPsdw中创建这个文件，它在hdfs中创建了下面的一个--它以\t作为选项卡，\n作为hdfs的下一行--这里是它在我的hdfs中显示的文件夹的名称，我无法删除它
\user\prime emp
ipun\cddsIdNotinPsdw
现在，我无法在hdfs中删除这一点。
浏览 5提问于2017-01-12得票数 1
回答已采纳
我使用我所在大学的HDFS集群研究了MapReduce范例，并通过色调访问它。从色调上看，我可以浏览文件，阅读/编辑它们等等。
所以在这个集群中，我需要：
一个普通的文件夹，我在其中放置MapReduce.jar
访问HDFS中的结果
我非常喜欢编写MapReduce应用程序，因此我已经正确地将本地HDFS配置为个人游乐场，但目前我只能访问它，这确实是浪费时间的命令行(如)。
通过SFTP远程主机连接，我可以“直接”访问我彻底的IntelliJ想法的HDFS，下面是“用户正常文件夹”：
这里是HUE的HDFS，我从中得到了结果：
显然，在我的本地机器中，“普
浏览 2提问于2018-01-22得票数 0
回答已采纳
我使用以下命令将一个文件夹从HDFS复制到本地计算机：
-copyToLocal dfs :/user/myname/output-64-32/~/Documents/ hdfs hdfs
但是我在fromHDFS文件夹中看不到任何文件，而且当我再次尝试运行命令时，它会说“文件存在”。任何帮助都是非常感谢的。
谢谢。
浏览 0提问于2017-05-31得票数 2
回答已采纳
2回答
我正在使用亚马逊网络服务(AWS)-EC2上的Apache-Spark来加载和处理数据。我已经创建了一个主节点和两个从节点。在主节点上，我有一个目录data，其中包含要处理的所有csv格式的数据文件。
现在，在提交驱动程序(这是我的python代码)运行之前，我们需要将数据目录data从主节点复制到所有从节点。据我所知，我认为这是因为每个从节点都需要知道数据文件在其本地文件系统中的位置，以便能够加载数据文件。例如,
from pyspark import SparkConf, SparkContext
### Initialize the SparkContext
conf = SparkC
浏览 1提问于2015-07-23得票数 0
1回答
Pyspark有一个函数sequenceFile，它允许我们读取存储在HDFS中的序列文件，或者所有节点都可以使用的本地路径。
但是，如果在驱动程序内存中已经有一个字节对象，需要反序列化并将其写入序列文件，该怎么办？
例如，我正在处理的应用程序(不能更改应用程序逻辑)运行一个火花作业，它将该文件写入非HDFS兼容的文件系统，然后我可以作为内存中的python字节对象检索该文件，该对象似乎只包含一个序列化的序列对象，而我应该能够在内存中反序列化该对象。
因为这个对象已经在内存中(因为我无法控制)，所以我必须反序列化它并实际看到输出(这是一个json文件)的唯一方法是在本地将它写成一个文件，将该文
浏览 15提问于2021-12-08得票数 1
我已经在我安装在windows10上的vmware中的Ubuntu上安装了一个伪分布式独立hadoop版本。
我从网上下载了一个文件，并复制到ubuntu本地目录/lab/data中。
我在ubuntu中创建了名为namenodep和datan1的namenode和datanode文件夹(不是hadoop文件夹)。我还在hdfs中创建了一个文件夹，名为/input。
当我将文件从ubuntu本地复制到hdfs时，为什么在以下两个目录中都存在该文件？
$ hadoop fs -copyFromLocal /lab/data/Civil_List_2014.csv /input
$hadoop
浏览 10提问于2015-10-10得票数 0
回答已采纳
1回答
hadoop上的‘'ls /’提供了以下输出：
# hdfs dfs -ls /
Found 18 items
drwxrwxrwt - yarn hadoop 0 2019-05-20 09:22 /app-logs
drwxr-xr-x - hdfs hdfs 0 2019-05-15 10:07 /apps
drwxr-xr-x - yarn hadoop 0 2019-05-15 09:37 /ats
drwxr-xr-x
浏览 1提问于2019-05-20得票数 0
1回答
我希望100的数据文件在XML，Excels，分隔格式，我是转换为AVRO的每周。您是否建议在HDFS中的文件夹备份下或本地文件系统下的非HDFS文件夹下保留原始格式的源文件备份。
这些文件来自FTP。
浏览 2提问于2014-01-22得票数 0
1回答
Following the question in this link，还有一个关于在Hadoop HDFS上创建目录的问题。 我是Hadoop/Flume的新手，我选择了一个使用Flume将csv数据保存到HDFS的项目。Flume水槽的设置如下所示： contract-snapshot.sinks.hdfs-sink-contract-snapshot.hdfs.path = /dev/wimp/contract-snapshot/year=%Y/month=%n/day=%e/snapshottime=%k%M 使用此Flume设置，相应的csv文件将保存到HDFS中的以下文件夹下：
浏览 47提问于2021-01-11得票数 1
回答已采纳
我正在使用pyspark在hdfs中处理一个文本文件。如果我使用简单的hdfs命令，比如"hdfs dfs -cat hdfs:///data/msd/tasteprofile/mismatches/sid_matches_manually_accepted.txt"；it -cat“。
但是如果我像下面这样使用pyspark命令，它会一直返回"Errno 2没有这样的文件或目录：“
schemaMismatches = StructType([
StructField("song_id", StringType(), True),
浏览 42提问于2021-05-23得票数 1
1回答
我试图获得一个文件，我已经复制到HDFS，但我似乎不清楚如何真正连接。例如，我使用以下命令将文件放在HDFS中：
hdfs dfs -put ~/spark-1.4.0/XXX/YYY input
这很好，但是现在问题是如何从PySpark中找到它们。火花点到：的文档
我使用的是与hadoop2.6相匹配的spark版本，但在上面的链接指向的目录中看不到任何conf文件。
我可以直接访问输入文件吗?还是需要使用PySpark做更多的配置？
浏览 6提问于2015-06-24得票数 1
回答已采纳
我有一个dir，其中包含多个文件夹，每个dir中有N个文件。单个文件大小为15 GB。我不知道将文件从本地复制/移动到HDFS的最佳方法是什么。
浏览 2提问于2016-08-28得票数 0
1回答
如何将表保存在pyspark中？
、、、、
我希望将生成的表保存到csv、文本文件或similiar中，以便能够使用RStudio进行可视化。
我使用pyspark.sql在hadoop安装程序中执行一些查询。我希望在hadoop中保存我的结果，然后将结果复制到本地驱动器中。
myTable = sqlContext.sql("SOME QUERIES")
myTable.show() # Show my result
myTable.registerTempTable("myTable") # Save as table
myTable.saveAsTextFile("SEARCH PATH&#
浏览 1提问于2016-12-09得票数 0
回答已采纳
1回答
我正在尝试使用pyspark将数据写入hdfs，如下所示：
import pyspark
from pyspark.sql import SparkSession
sparkSession = SparkSession.builder.appName("example-pyspark-read-and-write").getOrCreate()
data = [('First', 1), ('Second', 2), ('Third', 3), ('Fourth', 4), ('Fifth', 5)
浏览 0提问于2018-07-26得票数 0
我正在尝试运行一个访问hive服务器的pyspark程序。程序通过抛出错误来终止
pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwxr-x;
现在，建议我应该把它改成777。我做到了。
drwxrwxrwx - hadoopuser supergroup
浏览 33提问于2019-07-12得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
