在pyspark中读取数据帧时获取空日期？
在pyspark中读取数据帧时获取空日期，可以通过以下步骤实现：
- 首先，确保你已经导入了pyspark模块并创建了SparkSession对象，例如：
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()- 接下来，使用SparkSession对象的read方法读取数据帧，可以是从文件系统、数据库或其他数据源中读取，例如从CSV文件中读取：
df = spark.read.csv("path/to/file.csv", header=True, inferSchema=True)这里的"path/to/file.csv"是你要读取的CSV文件的路径，header=True表示第一行是列名，inferSchema=True表示自动推断列的数据类型。
- 读取数据帧后，可以使用DataFrame的方法进行数据处理和转换。如果要获取空日期，可以使用isNull()方法和filter()方法结合起来，例如：
from pyspark.sql.functions import col
null_dates = df.filter(col("date_column").isNull())这里的"date_column"是你数据帧中的日期列名，filter()方法根据isNull()方法的结果筛选出空日期的行。
- 最后，你可以对获取到的空日期进行进一步的处理，例如打印出来或者进行其他操作。
需要注意的是，以上步骤中的"date_column"和"path/to/file.csv"需要根据你的实际情况进行替换。另外，pyspark还提供了许多其他的函数和方法用于数据处理和转换，你可以根据具体需求进行使用。
关于pyspark的更多信息和使用方法，你可以参考腾讯云的产品文档：
相关·内容
2回答
如何在pyspark中读取csv文件？
pyspark、pyspark-sql、pyspark-dataframes
我正在尝试读取csv文件使用pyspark，但它显示一些错误。你能说出读取csv文件的正确过程吗？
python代码：
from pyspark.sql import *
df = spark.read.csv("D:\Users\SPate233\Downloads\iMedical\query1.csv", inferSchema = True, header = True)
我也尝试了下面的一个：
sqlContext = SQLContext
df = sqlContext.load(source="com.databricks.spark.csv",
浏览 9提问于2019-11-11得票数 0
1回答
在Pyspark 2.4中使用StructType验证列的模式
apache-spark、pyspark、apache-spark-sql
我有一个dataframe，它的一个列是一个JSON字符串 from pyspark.sql import SparkSession
from pyspark.sql.types import *
import pyspark.sql.functions as F
sc = SparkSession.builder.getOrCreate()
l = [
(1, """{"key1": true, "nested_key": {"mylist": ["foo", "bar"],
浏览 21提问于2019-09-19得票数 0
1回答
尝试从csv创建spark数据帧时出错
python、dataframe、apache-spark、pyspark、jupyter-notebook
我正在尝试从s3读取csv文件并创建spark数据帧。我收到了一些我不理解的错误。 我的代码如下所示 from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.recommendation import ALS
from pyspark.sql import Row
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import *
spark = SparkSession
浏览 15提问于2020-10-01得票数 0
1回答
使用自定义列和记录删除器读取pyspark中的文件
python、python-3.x、pyspark、apache-spark-sql
在pyspark中读取csv文件时，有没有办法使用自定义记录分隔符？在我的文件中，记录用**分隔，而不是换行符。在将csv读入PySpark数据帧时，有没有办法使用这个自定义的行/记录分隔符？我的列分隔符也是';‘下面的代码正确地获取了列，但它只计为一行
from pyspark import SparkContext
sc = SparkSession.builder.appName('temp').getOrCreate()
df = sc.read.format('csv').option("header", "fals
浏览 11提问于2021-05-26得票数 0
1回答
我将相同的方法应用于spark scala中的多个数据帧，如何将其并行化？
scala、apache-spark
你好。你好吗？我目前正在遍历我的所有数据帧，并在它们上运行本质上相同的查询/过滤器。有没有一种方法可以更有效地并行运行？以下是示例代码... for (db <- list_of_dbs)
{
var df1 = spark.read
.format("csv")
.option("sep",",")
.option("inferSchema","true")
.option("header",&
浏览 18提问于2020-08-28得票数 0
2回答
如何使用PySpark将这些多个csv文件(大约130,000个)有效地合并为一个大型数据集？
python、apache-spark、memory、pyspark、bigdata
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
1回答
使用将HDFS保存到MongoDB
python、mongodb、csv、hadoop、apache-spark
我试图使用PyMongo连接器来保存一个。下面是我的代码，但是每次我运行代码时都会收到一个错误：
java.io.IOException: No FileSystem for scheme: mongodb
以下是我的代码：
import pymongo
import pymongo_spark
pymongo_spark.activate()
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
conf = SparkConf()
sc = SparkContext(conf=conf)
浏览 1提问于2016-10-10得票数 1
1回答
用于显示不带小数点的整数
python-3.x、apache-spark、pyspark
在下面的代码中，数据文件的所有列都是字符串。其中一列用一个小数位存储整数或小数(6.1,4.8,3,9.4,6，...etc.)。但是，一旦将数据加载到pyspark dataframe中，它也会显示带有单个小数位(例如3.0)的整数。
问题：我们如何才能强迫pyspark显示所有不带小数的整数值？例如，3.0应该显示为3。
from pyspark.sql.types import StringType
from pyspark.sql import functions as F
df = spark.read.csv(".......dfs.core.windows.net/my
浏览 7提问于2022-05-21得票数 0
3回答
按pyspark日期过滤文件
python、apache-spark、pyspark
我正在尝试使用pyspark从databricks datalake中提升一些文件。为此，我使用"sqlContext“语句来创建数据框，这样做没有问题。每个文件都按创建日期命名，例如"20211001.cv“。这些信息每天都会出现，我使用"* .csv“来获取它们。但现在我需要将文件从某个日期向前移动，但我找不到方法，这就是为什么我会求助于您。 我使用的语句风格如下： df_example= (sqlContext
.read
.format("com.databricks.spark.csv")
浏览 58提问于2021-11-09得票数 1
使用案例:读取s3 csv文件并创建数据帧 使用的代码： import boto3 import pyspark from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() s3 = boto3.client('s3',aws_access_key_id='xxxxxxxxxxxxx',aws_secret_access_key='xxx') cust_Address_SOURCE_PATH = "s3://log-bucket-poc-
浏览 27提问于2020-04-28得票数 0
2回答
将列名添加到从csv文件读取的不带列名的数据
scala、csv、apache-spark、apache-spark-sql
我在Scala中使用Apache Spark。
我有一个csv文件，它的第一行没有列名。它是这样的：
28,Martok,49,476
29,Nog,48,364
30,Keiko,50,175
31,Miles,39,161
这些列表示ID、名称、年龄、numOfFriends。
在我的Scala对象中，我使用SparkSession从csv文件创建数据集，如下所示：
val spark = SparkSession.builder.master("local[*]").getOrCreate()
val df = spark.read.option("inferSc
浏览 4提问于2017-11-05得票数 10
回答已采纳
2回答
在使用SparkSession创建PySpark时，系统无法找到指定的路由
python、apache-spark、intellij-idea、pyspark
我正试图在Win10虚拟机上与Python一起学习Spark。为此，我尝试使用PySpark从CSV文件中读取数据，但停止如下操作：
C:\Users\israel\AppData\Local\Programs\Python\Python37\python.exe C:/Users/israel/Desktop/airbnb_python/src/main/python/spark_python/airbnb.py
你好，world1
系统找不到指定的路由。
我读过、、、，但没有发现实现这些解决方案的成功之处。
我使用的是IntelliJ，python3.7。这是运行配置。
浏览 2提问于2020-03-01得票数 4
1回答
Pyspark -如何删除数据帧中的前导空格和尾随空格？
apache-spark、pyspark、pyspark-sql
我有一个包含10列的spark数据帧，我正在将其写入hdfs中的一个表。我遇到了列(所有字段和所有行)中的前导和尾随空格的问题。 from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('Networks').getOrCreate()
dataset = spark.read.csv('Networks_arin_db_2-20-2019_parsed.csv', header=True, inferSchema=True)
#dataset.show(5)
浏览 33提问于2019-02-22得票数 0
回答已采纳
1回答
读取csv文件时不返回数据格式结果。
csv、pyspark、databricks、azure-databricks
我正在尝试读取csv文件，下面是我使用的代码，它没有返回任何结果。在指定的路径中，csv文件中包含数据。当我使用ValidFile = spark.read.csv(ValidationFileDest, header = True)时，我遇到了一些问题，为此返回结果，但是列的数据是交换的，并且是空的，这就是我在代码中应用模式DROPMALFORMED的原因。但它没有返回任何结果。
parquetextension=".parquet"
BronzeStage_Path = "dbfs:/mnt/bronze/stage/" +parentname+
浏览 7提问于2022-07-07得票数 0
2回答
在Spark读中转义新行字符
python、apache-spark、dataframe、pyspark
我正在开发Spark2.2.1版本，使用下面的python代码，我可以转义诸如@：这样的特殊字符，比如newline(\n)和回车(\r)。我替换了@ the \n，但是它没有起作用。请给我任何建议。
工作：
spark_df = spark.read.csv(file.csv,mode="DROPMALFORMED",inferSchema=True,header =True,escape="@")
不工作：
spark_df = spark.read.csv(file.csv,mode="DROPMALFORMED",inferSchema=
浏览 0提问于2018-02-15得票数 6
回答已采纳
1回答
用胶水将数据从s3发送到postres rds
python、amazon-web-services、amazon-rds、aws-glue
我正在尝试用aws创建一个自动管道。我能够将我的csv文件放到我的s3桶中，这会自动触发lambda函数将csv发送到我的胶水工作中。然后，胶水作业会将csv转换成一个数据文件，并使用火花放电。你不能使用psycopg2，熊猫或炼金术，否则胶水会产生错误，说模块不存在。我在aws rds中设置了postgres rds。到目前为止，这就是我所拥有的
import sys
from pyspark.context import SparkContext
from pyspark.sql.functions import *
from pyspark.sql.types import *
from
浏览 4提问于2022-04-15得票数 1
1回答
强制spark.read()和inferSchema=True一起设置不可空的数值列
scala、apache-spark、nullable
在读取带有推断模式的文件(使用Spark2.0)之后：
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('foo').getOrCreate()
df = spark.read.csv('myData.csv', inferSchema=True)
所有列(string和numeric )都是可空的。
但是，如果我使用显式模式读取文件，则只有string列是可空的。
是否有一种方法可以强制read()与inferSchema=True一起设置空值，与使用显式模式
浏览 3提问于2017-09-14得票数 2
1回答
UnicodeEncodeError：“ascii”编解码器不能编码字符错误
python、csv、apache-spark、unicode、pyspark
我正在使用python从google云存储中读取一些文件。
spark = SparkSession.builder.appName('aggs').getOrCreate()
df = spark.read.option("sep","\t").option("encoding", "UTF-8").csv('gs://path/', inferSchema=True, header=True,encoding='utf-8')
df.count()
df.show(10)
但是
浏览 0提问于2019-07-26得票数 1
回答已采纳
1回答
pyspark:创建多个dataframe失败
python、pandas、pyspark
我想将几个大型Pandas数据帧转换为Spark数据帧，然后对它们进行操作和合并，如下所示：
import pandas as pd
from pyspark import SparkContext,SQLContext
df1 = pd.read_csv('data1.cat',delim_whitespace=True)
df2 = pd.read_csv('data2.cat',delim_whitespace=True)
sc = SparkContext()
sql = SQLContext(sc)
spark_df1 = sql.createDa
浏览 208提问于2020-06-08得票数 0
回答已采纳
1回答
如何在处理过程中收集火花放电中的坏行/记录？
apache-spark、pyspark
你好，我刚接触过Pyspark，当我将test.csv文件中的字符串列“道布”转换为Date格式时，我遇到了一个问题，在这个问题中，Pyspark将坏记录转换为空值。我知道pyspark在处理坏数据方面的方法，比如允许模式、FAILFAST模式、BadRecordPaths，它们在读取文件/输入时收集坏数据，但是在运行函数时有可能收集坏记录吗？
“守则”是：
spark = SparkSession.builder.appName("Dob_test").getOrCreate()
df = spark.read.option("header", True).c
浏览 4提问于2022-06-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
