如何用PySpark传递spark.read.csv路径中的变量
在PySpark中，可以使用变量来传递spark.read.csv路径。以下是一种方法：
- 首先，确保已经安装了PySpark库，并导入所需的模块：
from pyspark.sql import SparkSession- 创建一个SparkSession对象：
spark = SparkSession.builder.appName("CSV Reader").getOrCreate()- 定义一个变量来存储CSV文件的路径：
csv_path = "your_csv_file_path.csv"- 使用
spark.read.csv方法读取CSV文件，并传递路径变量：
df = spark.read.csv(csv_path, header=True, inferSchema=True)在这个例子中，我们假设CSV文件包含标题行，并且希望Spark自动推断列的数据类型。
- 可以对读取的数据进行进一步的操作和分析，例如打印数据集的前几行：
df.show(5)这样，你就可以使用PySpark传递spark.read.csv路径中的变量了。
关于PySpark和Spark的更多信息，你可以参考腾讯云的相关产品和文档：
相关·内容
我每天都使用PySpark来读取一个叫做AA_"current_date“的csv文件，其中的"current_date”当然每天都会发生变化。问题是，在spark.read.csv的路径中，我想放一个像/AA_$current_date.csv这样的变量，但是我现在真的不知道如何实现。 有谁能帮帮我吗？
浏览 28提问于2019-09-26得票数 0
回答已采纳
1回答
我正在使用SPARK读取hdfs中的文件。有一个场景，我们以csv格式从遗留系统中获取文件块。FILENAMEA_4.csvID2_FILENAMEA_2.csv
ID2_FILENAMEA_3.csv 此文件使用HiveWareHouse连接器加载到配置单元中的FILENAMEA，几乎不需要像添加默认值这样的转换。表是按ID分区的。现在，我正在逐个处理这些文件。这需要很长时间。 我想让这个过程更快。文件将以GB为单位。 是否有
浏览 228提问于2021-09-27得票数 1
回答已采纳
1回答
在从命令提示符或Pycharm执行Pyspark代码时，我面临一个问题。我已经安装了火花/火花，但我仍然无法从任何终端到达火花
对于下面这些简单的电火花代码，我从py魅力中得到了错误信息。from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('Session1&
浏览 4提问于2020-12-02得票数 0
如果使用create_dynamic_frame_from_catalog()，则提供数据库名称和表名，例如，从Glue爬虫中创建，这实际上是命名特定的输入文件。我希望能够在没有爬虫和数据库的情况下完成同样的操作(指定一个特定的输入文件)。我尝试过使用create_dynamic_frame_from_options()，但“路径”连接选项显然不允许我命名该文件。有办法这样做吗？
浏览 1提问于2020-07-15得票数 1
1回答
我正在尝试将一个复杂的json文件读入火花数据格式。Spark识别模式，但将字段错误为字符串，而该字符串恰好是一个空数组。(不知道为什么它必须是数组类型时是字符串类型)下面是我所期望的示例现在的数据如下arrayfield:[]
这对我的代码所做的是，当我尝试查询arrayfield.name时，它就失败了
浏览 3提问于2017-06-16得票数 1
我想读取具有csv文件的zip文件。我尝试过许多方法，但没有成功。在我的例子中，我应该读取文件的路径在中。例如，当我必须在databricks中读取csv时，我使用以下代码：所以，我想要的Azure存储路径</em
浏览 4提问于2021-05-04得票数 0
我正试着在pycharm上运行pyspark。我已经连接了所有内容并设置了环境变量。我可以读取sc.textFile，但当我尝试从pyspark.sql读取csv文件时，出现了错误。"Simple App")
accounts_rdd = spark.read.csv"C:/Users/bjlinmanna/PycharmP
浏览 5提问于2016-08-12得票数 2
回答已采纳
我有两个文件夹A和B A包含file1.csv.gz和file2.csv.gz，B包含file2.csv.gz和file3.csv.gz 我想在一个唯一的数据帧中读取这些文件。这就是我要做的： folders_to_read = ["A/*.csv.gz", "B/*.csv.gz"]
df = spark.read.format('csv').option("header"
浏览 76提问于2020-04-21得票数 3
2回答
我可以在我的窗户上做一个pip install pyspark。当我试图在下面运行一个示例脚本时，它告诉我没有设置我的SPARK_HOME。我是否需要将我的SPARK_HOME设置为静止状态，以及如何进行此操作？findspark.i
浏览 0提问于2018-04-04得票数 4
下面的数据作为标签分隔格式的.txt文件存储在blob存储中。我使用pyspark.sql将数据作为pyspark.sql.df加载到databricks中。 (172, 'yyy'),['LU', 'Input'] # column labels首先，我在加载之前为数据创建了一个模式：
from pyspark.sql.t
浏览 8提问于2020-04-11得票数 1
1回答
我有一个以lzo格式压缩的csv文件，我想将它导入到中。如果文件未被压缩，我将简单地这样做：data = spark.read.csv(fp, schema=SCHEMA, sep="\t")
其中，文件路径fp和模式SCHEMA在其他地方正确定义。但是，当使用lzo压缩文件时，这将返
浏览 2提问于2018-04-06得票数 2
回答已采纳
当我试图运行以下代码时，我寻求您的帮助，但是出现了以下错误，指出python主路径被拒绝访问。count / NUM_SAMPLES 1129
C:\spark-3.0.0-preview2-bin-hadoop2.7\python\<em
浏览 4提问于2020-02-26得票数 0
2回答
我有一个很大的火花放电数据和一个较小的熊猫数据，我读到如下：df2 = pd.read_csv("data2.csv")这两个数据格式都包括标有"A“和"B”的列。我想要创建另一个pyspark，其中只有来自df1的那些行，其中列"A“和"B”中的条目出
浏览 11提问于2017-09-19得票数 13
2回答
我发现有些字段包含一个html编码的符号和&分号作为列分隔符，所以我需要在加载数据帧时用&替换&。spark.read.option("delimiter", ";").option("header","true").csv('/mnt/input/AMP test.csv')我得到的结果是+---------+--------+
| 1| Chandler|
浏览 2提问于2021-08-23得票数 1
回答已采纳
初学pyspark。我正在尝试使用具有用户指定的模式结构类型的pyspark从datalake blob读取csv文件。下面是我尝试过的代码。from pyspark.sql.types import *
StructField("A", StringType(), True)|322319096| 254.0|2020-09-02 13:51:...|
浏览 27提问于2021-02-10得票数 0
回答已采纳
我有来自多个路径的CSV文件，这些路径不是s3桶中的父目录。所有的表都有相同的分区键。我需要将这些csv文件转换为parquet文件，并将它们存储在具有相同目录结构的另一个s3桶中。我有一个解决方案，就是在s3桶中迭代，找到CSV文件并将其转换为parquet并保存到另一个S3路径。我发现这种方式是不有效的，因为我有一个循环，并完成了一个文件到一个文件的转换。然后，我试着：
<em
浏览 1提问于2020-05-29得票数 1
回答已采纳
1回答
我来自here，正在尝试从Pyspark中的this dataset中读取正确的值。我使用df = spark.read.csv("hashtag_donaldtrump.csv", header=True, multiLine=True)取得了很好的进展，但现在我在一些单元格中有一些奇怪的值，如您在下面的图片(最后一行)中所看到的： ? 否则，如何使用另一个程序读取带格式的</em
浏览 13提问于2021-01-15得票数 0
但当我以这种方式读到“火种”时：0.18277,-0.188931,0.0893389,0.119931,0.318853,-0.132933,-0.0288816,0.136137,0.12939,-
浏览 3提问于2017-06-19得票数 16
我一直试图在我的Macbook中保留Python3作为Spark的默认版本，但没有进行设置。我不能运行我的程序也是因为这个原因。这是我在Pycharm中得到的错误 “例外: worker中的Python2.7版本与驱动程序3.7中的版本不同，PySpark不能在不同的次要versions.Please检查环境变量PYSPARK_PYTHON和PYSPARK
浏览 18提问于2019-02-25得票数 0
3回答
火花加载文件:路径不存在
、、、、
我是星火的新手。我试图在EMR集群中读取本地csv文件。该文件位于: /home/hadoop/。.config("spark.some.config.option", "some-value") \
df = spark.read.csv('/home/hadoophdfs://ip-172-31-39-54.eu-west-1.compute.internal:8020
浏览 13提问于2017-02-07得票数 21
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
