Pyspark:如何从不同的文件夹读取多个csv？

文章/答案/技术大牛

发布

1回答

在阅读tar.gz存档时使用特定模式过滤文件

python、apache-spark、pyspark、gzip、tar

我的文件夹myfolder.tar.gz中有多个CSV文件。我以这种方式创建了它:首先将所有文件放在文件夹名myfolder中，然后准备一个tar文件夹。然后准备这个tar文件夹的.gz。abc_1.csvabc_3.csvdef_2.csv 我希望使用Pyspark数据帧过滤特定文件名模式中的

浏览 1提问于2021-02-04得票数 1

回答已采纳

1回答

如何在spark sql中从不同路径读取多个csv文件

python、sql、csv、apache-spark、pyspark

我正在尝试读取不同文件夹中的多个csv文件 from pyspark.sql import * .builder \df = spark.rea

浏览 85提问于2021-08-13得票数 0

回答已采纳

1回答

python、csv、pyspark

我有两个文件夹A和B A包含file1.csv.gz和file2.csv.gz，B包含file2.csv.gz和file3.csv.gz 我想在一个唯一的数据帧中读取这些文件。这就是我要做的： folders_to_read = ["A/*.csv.gz", "B/*.csv.gz"] df = spark.read.format('csv

浏览 76提问于2020-04-21得票数 3

1回答

使用Pyspark从s3存储桶中读取最后一个csv文件

python、amazon-web-services、csv、amazon-s3、pyspark

因此，我有一个s3存储桶(数据)，其中有一个名为(First)的文件夹，其中包含多个CSV文件，但我不知道该文件的名称，现在我想将该文件夹中的最新文件读取到pyspark dataframe中。

浏览 15提问于2021-09-16得票数 0

6回答

如何在Apache预构建版本中添加任何新的库(如Spark csv)

python、apache-spark、apache-spark-sql

我已经构建了，并能够使用下面的命令使用同样的pyspark错误获取Traceback (most recent call last): File "<stdin>",line

浏览 13提问于2015-06-10得票数 26

回答已采纳

1回答

将已删除的csv文件写入单个文件夹- Pyspark

python、dataframe、pyspark、apache-spark-sql、teradata

当在pyspark中使用partitionby()时，我应该采用什么方法来在一个文件夹而不是多个文件夹中编写csv文件？有什么建议吗？码from pyspark import SparkConf .mode("overwrite&quo

浏览 5提问于2022-01-31得票数 0

1回答

pyspark一次读取多个csv文件

apache-spark、pyspark、hive

我正在使用SPARK读取hdfs中的文件。有一个场景，我们以csv格式从遗留系统中获取文件块。ID1_FILENAMEA_1.csvID1_FILENAMEA_3.csvID2_FILENAMEA_1.csvID2_FILENAMEA_3.csv 此文件使用HiveWareH

浏览 228提问于2021-09-27得票数 1

回答已采纳

1回答

如何从压缩文件中读取倍数文件？

r、csv

我想知道如何从压缩文件夹("test2.zip")读取R中的多个文件。我编写了下面的代码，它只在压缩文件夹中只有一个文件时才能工作。我需要知道如何从压缩的文件夹中获取所有文件/倍数文件，并使其在R.中可读，不同的.CSV文件需要作为数据帧。test5 <- read.csv(unzip(&q

浏览 0提问于2015-08-20得票数 1

回答已采纳

2回答

Perl，如何读取子文件夹输出

perl

我正在编写一个脚本来读取目录中多个子文件夹的内容。最近我需要读取多个子文件夹中文件夹的内容。想问如何写代码来读取多个子文件夹中的那些文件夹。这是新的条件如何<

浏览 1提问于2015-10-01得票数 0

1回答

AWS作业create_dynamic_frame_from_options()打开特定的文件？

amazon-web-services、apache-spark、pyspark、aws-glue

如果使用create_dynamic_frame_from_catalog()，则提供数据库名称和表名，例如，从Glue爬虫中创建，这实际上是命名特定的输入文件。我希望能够在没有爬虫和数据库的情况下完成同样的操作(指定一个特定的输入文件)。

浏览 1提问于2020-07-15得票数 1

2回答

如何在pyspark的不同模块中使用相同的连接数据帧用法

python、dataframe、pyspark、hive、pyspark-dataframes

我们有从多个源表读取数据并根据业务规则连接和应用映射的场景。在某些情况下，从几个表中读取的数据可以用于多个目标加载。那么，为了避免在运行不同的模块时多次读取相同的数据，有什么选择可以在不同的pyspark模块中使用相同的dataframe输出吗？from table1) df2 = spark.sql(sele

浏览 0提问于2020-11-07得票数 0

1回答

能够读进RDD，但不能读到火花数据格式

azure、pyspark

") pyspark.sql.utils.AnalysisException:无法推断CSV的架构。") 我知道该文件没有问题，因为我可以将它读取到RDD中，而不会出现以下代码块的

浏览 3提问于2022-01-25得票数 0

1回答

在文件夹中读取增量表特定文件

apache-spark、pyspark、apache-spark-sql、delta

我试图从包含多个增量文件的文件夹中读取一个特定的文件，请参阅附带的屏幕截图。df.write.format("delta").mode("overwrite").option("overwrite

浏览 14提问于2022-10-20得票数 0

1回答

无法使用DataBricks保险丝挂载路径从DBFS访问文件

databricks、databricks-community-edition

我有数据块中的文件，如下所示我正试图像这样从数据砖笔记本中访问它们。但是我遇到了错误，即使尝试使用pandas也会出错。我不明白我哪里出了问题。尽管dbutils.fs.head('/FileStore/tables/flights_small.csv')给了我正确的结果。

浏览 1提问于2021-08-30得票数 1

回答已采纳

2回答

如何在pyspark中将映射字符串转换为映射

dictionary、pyspark

我有一个csv文件，如下所示(它是从pyspark输出中保存的) name_value"[quality1 -> good, quality2 -> excellent]" 如何使用pyspark读取此csv文件并将name_value列转换为映射类型？

浏览 42提问于2021-10-04得票数 0

回答已采纳

1回答

如何在PySpark中读取DBF文件

python、apache-spark、pyspark、redis、dbf

我需要在.DBF中读取和处理PySpark文件，但是我没有得到任何库，我怎么能像读取CSV、JSON、Parquet或其他文件那样读取它。from pyspark.sql import SparkSe

浏览 9提问于2022-01-29得票数 0

1回答

如何使用spark (python)读取zip文件中CSV文件的内容

python、hadoop、apache-spark、zip、pyspark

我有多个压缩文件，包含两种类型的文件(A.csv和B.csv)/data/feb.zip -->包含A.csv & B.csv 我想使用pyspark读取所有压缩文件中的所有A.csv文件的内容。textFile = sc.textFile(

浏览 1提问于2016-05-06得票数 11

2回答

如何使用spark (python)读取zip文件中CSV文件的内容

python、apache-hadoop、apache-spark

我有多个zip文件，包含两种类型的文件(A.csv& B.csv)我想使用pyspark读取所有压缩文件中所有A.csv文件的内容。textFile = sc.textFile

浏览 0提问于2016-05-05得票数 3

2回答

如何高效地将MySQL表读入Apache Spark/PySpark？

mysql、hadoop、apache-spark、apache-spark-sql

我目前已经将这些表导出为CSV文件，并将它们放到HDFS上。现在，我从PySpark上的HDFS中将每个表读取到不同的RDDs中进行分析。from pyspark.sql import SQLContextdf = sqlContext.read.format('com.databricks.spark.csv').options(header='

浏览 1提问于2015-12-07得票数 2

2回答

pyspark:如何显示当前目录？

directory、pyspark

嗨，我正在交互式地使用pyspark。我想我无法正确加载本地文件。或者是pyspark所在的默认目录？谢谢

浏览 16提问于2016-05-03得票数 3

回答已采纳

点击加载更多

在阅读tar.gz存档时使用特定模式过滤文件

如何在spark sql中从不同路径读取多个csv文件