3回答
我正在使用PySpark并加载一个csv文件。我有一个带有欧洲格式数字的列，这意味着逗号代替了点，反之亦然。from pyspark.sql.types import StructType
浏览 0提问于2018-10-08得票数 13
回答已采纳
我正在尝试使用pyspark读取器读取dat文件，它包含换行符("\n")作为数据的一部分。Spark无法将此文件读入单个列，而只能将其视为新行。我试着在阅读时使用"multiLine“选项，但它仍然不起作用。spark.read.csv(file_path, schema=schema, sep=delimiter,multiLine=True)
数据就是这样的。这里$是CRLF的换行符，如vim所示。
浏览 0提问于2018-04-02得票数 1
回答已采纳
的文档表明，spark可以记录在读取.csv文件时检测到的错误行。
如何记录格式错误的行？是否可以获得包含格式错误的行的val或var？链接文档中的选项是: maxMalformedLogPerPartition (默认值为10)：设置Spark将为每个分区记录的最大格式错误行数。超过此数目的错误记录将被忽略
浏览 1提问于2017-01-27得票数 6
我的日期是高字节，比如: YYYYMMDD in a CSV。 StructField("id", StringType(), True),
StructField("date", DateType
浏览 0提问于2018-09-01得票数 0
我知道如何用pyspark读取csv文件，但我在加载正确格式的csv文件时遇到了很多问题。我的csv有3列，其中第一列和第二列是字符串，但第三列是字典列表。我无法加载这最后一列。我试着用 schema = StructType([ StructField("text", StringType()
浏览 68提问于2019-09-26得票数 0
1回答
示例name.csv数据：Diwakar,, ,25,, ,12,Prabhat, ,27, ,15,正在读取csv文件：names.show
浏览 0提问于2020-03-02得票数 1
所以我想从一个目录中读取csv文件，作为pyspark dataframe，然后将它们附加到单个dataframe中。而不是像我们在熊猫身上做的那样，在pyspark中得到替代方案。例如，在熊猫中，我们这样做： dff=pd.read_csv(f,deli
浏览 5提问于2017-04-10得票数 11
如何在不写入磁盘的情况下将url上的csv读取到Pyspark中的dataframe中？StringIO
text = data.
浏览 2提问于2017-12-16得票数 11
回答已采纳
如何在pyspark sql模式中指定字符串数组。我不想使用StructFields。 在下面的示例中，城市在数组列表中。schema = "country string, cities array(string)"
df=spark.read.csv(file_path,schema=schema)
浏览 23提问于2021-07-09得票数 1
回答已采纳
9回答
我刚接触BigData.I需要将csv/txt文件转换为Parquet格式。我搜索了很多，但找不到任何直接的方法。有什么方法可以做到这一点吗？
浏览 3提问于2014-09-30得票数 40
1回答
将CSV导入
、、、、
我是个新手，我正在尝试加载如下所示的CSV文件： article_id title short_descasco-cap guidelines support categorization of her2 by fish status used in bcirg clinical trials from pyspark.sql import SparkSession
from
浏览 0提问于2018-04-24得票数 0
回答已采纳
我试图使用PySpark读取包含多列的CSV文件。inferschema选项非常适合推断大多数列的数据类型。如果我只想覆盖被错误推断的列类型之一，那么最好的方法是什么？我可以使用这段代码，但它使PySpark只导入了模式中指定的一个列，这是我不想要的。schema = StructType() \
spark.read.format('
浏览 1提问于2021-08-27得票数 2
回答已采纳
1回答
我正试图在本地jupyter笔记本中使用pyspark运行结构化流。代码从目录中读取csv文件，并将输出流写入控制台。True),StructField("age", IntegerType(), True),\当我尝试使用以下方法读取流时：
inputDF= spark.readStream.format("csv<
浏览 5提问于2022-07-25得票数 1
我有两列的pyspark dataframe，后来我使用withColumn函数添加了第三列，将当前日期添加到所有现有行。- Date
Name City created_dateJohn NY 2020-09-13 之后，我使用以下命令将文件保存到s3存储桶中 df.write.format("csv").option("header"，"true"
浏览 18提问于2020-09-14得票数 0
我正在尝试将一个非结构化的csv从datalake存储导入到databricks，并且我想读取这个文件的全部内容：
EdgeMaster Y - C
1.方法1:我试着读取第一行头df = sqlContext.read.format("com.databricks.spark.csv</em
浏览 1提问于2022-10-28得票数 0
3回答
我正在尝试使用pyspark读取器，其标准如下：
------1,2from pyspark.sql import SparkSession
DDL =
浏览 0提问于2019-03-07得票数 10
吡火花能有效地读取和处理许多.csv文件吗？作为一个最小的例子，数据是许多.csv文件，每个文件有5行和2列。一个快速而肮脏的实现如下(假设fns是.csv文件名的列表，并且处理是作为列方法的最大值来实现的)，但是速度会慢，因为文件是按顺序读取的，而处理使用的是单个内核。result = [] df = pd.read_csv(fn, header=None)
result.append(df.agg(func).max()
浏览 5提问于2020-06-12得票数 0
回答已采纳
读取器，给出一个将列指定为整数的模式时，它返回null。from pyspark.sql.functions import col
StructField('Category', StringType()/output.csv', schema=schema)返回
+---------
浏览 6提问于2022-01-01得票数 1
回答已采纳
我使用以下代码读取csv文件import sys
os.environ["SPARK_HOME"] = "D:\ProgramFiles\spark-2.1.0-bin-hadoop2.7").schema(customSchema).option("header", "true").option("mode", "DROPMALFORMED").load("iris.<
浏览 0提问于2017-03-05得票数 2
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
