在Spark +2.4中读取CSV时如何设置时间戳格式
在Spark +2.4中读取CSV时，可以通过设置时间戳格式来解析CSV文件中的时间戳数据。以下是设置时间戳格式的步骤：
- 导入必要的Spark库和函数：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._- 创建SparkSession对象：
val spark = SparkSession.builder()
.appName("CSV Timestamp Format")
.getOrCreate()- 定义CSV文件的模式（schema）：
val schema = StructType(Seq(
StructField("timestamp_column", TimestampType, nullable = true)
))- 读取CSV文件并设置时间戳格式：
val df = spark.read
.format("csv")
.option("header", "true")
.option("timestampFormat", "yyyy-MM-dd HH:mm:ss")
.schema(schema)
.load("path/to/csv/file.csv")在上述代码中，通过option("timestampFormat", "yyyy-MM-dd HH:mm:ss")来设置时间戳的格式，这里的格式是"yyyy-MM-dd HH:mm:ss"，你可以根据实际情况进行调整。
- 对数据进行操作和分析：
df.show()
// 其他操作和分析代码...在这个例子中，我们假设CSV文件中只有一个时间戳列，列名为"timestamp_column"。你可以根据实际情况修改模式定义和读取的列名。
推荐的腾讯云相关产品：腾讯云分析型数据库（TencentDB for Analytics）是一种高性能、高可用、弹性扩展的云原生数据库产品，适用于大数据分析和数据仓库场景。它提供了灵活的数据模型和强大的查询能力，可以满足各种复杂的数据分析需求。
产品介绍链接地址：腾讯云分析型数据库
相关·内容
2回答
我面临这样的问题:当我输入一个带有spark.sql数据的Hive时间戳字段时，时间被奇怪地更改为21:00:00！
让我解释一下：
我有一个用spark.sql读取的csv文件。我读取该文件，将其转换为dataframe并将其存储在一个Hive表中。此文件中的一个字段是日期，格式为"3/10/2017“。我想输入的Hive字段是格式的(我使用此数据类型而不是日期的原因是我想用Impala查询表，而Impala只有时间戳，所以它不是简单地更改数据类型到日期的解决方案)
从文档中可以看到，Hive时间戳数据类型具有“YYYY:MM:SS”格式，因此在将数据输入到Hive表之前，我会将日期
浏览 1提问于2017-11-22得票数 1
回答已采纳
我正在使用具有以下时间戳格式的数据集：yyyy-MM-dd HH:mm:ss
当我将数据输出到csv时，格式更改为如下所示：2019-04-29T00:15:00.000Z
是否有任何方法将其转换为原始格式，如：2019-04-29 00:15:00
我是否需要将该列转换为字符串，然后将其推送到csv？
我对csv说我的档案如下：
df.coalesce(1).write.format("com.databricks.spark.csv"
).mode('overwrite'
浏览 4提问于2020-06-09得票数 1
回答已采纳
我正在试着读取一个csv文件，其中有时间戳，直到纳米秒。文件TestTimestamp.csv的示例内容
spark 2.4.0，Scala-2.11.11
/**
* TestTimestamp.csv -
* 101,2019-SEP-23 11.42.35.456789123 AM
*
*/
试着用timestampFormat =“yyyy dd hh.mm.ss.SSSSSSSSS aaa”阅读它
val dataSchema = StructType(Array(StructField("ID", DoubleType,
浏览 9提问于2019-10-25得票数 2
回答已采纳
2回答
我正在尝试将数据帧保存到包含时间戳的csv文件中。
此列更改为csv文件中写入的格式一的问题。下面是我使用的代码：
val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
val df = spark.read.option("header",true).option("inferSchema", "true").csv("C:/Users/mhattabi/Des
浏览 0提问于2017-03-02得票数 4
考虑一下将CSV读入DataFrame并将其写成Parquet的最小火花作业：
val df = spark.read.format("csv").option("inferSchema", true).load(filename)
df.write.parquet("parquet_folder/")
对于输入文件中的任何时间戳列，Parquet输出将包含一个具有即时语义的时间戳，解释当前Spark会话/JVM时区中源数据中的时间字符串。所以"2020-01-01 00:00“变成"2020-01-01 00:00-0500”，
浏览 0提问于2020-09-01得票数 1
1回答
我正在解析一个csv文件，其数据如下：
2016-10-03, 18.00.00, 2, 6
当我读取文件创建模式时，如下所示：
StructType schema = DataTypes.createStructType(Arrays.asList(
DataTypes.createStructField("Date", DataTypes.DateType, false),
DataTypes.createStructField("Time", DataTypes.TimestampType,
浏览 1提问于2017-09-20得票数 0
回答已采纳
3回答
我正在寻找将kafka的时间戳值添加到我的Spark结构化流模式的解决方案。我从卡夫卡中提取了价值字段，并制作了数据格式。我的问题是，我需要得到时间戳字段(从卡夫卡)和其他专栏。
以下是我的当前代码：
val kafkaDatademostr = spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers","zzzz.xxx.xxx.xxx.com:9002")
.option("subscribe","csvstream
浏览 1提问于2019-01-21得票数 1
回答已采纳
指的是spark.sql.legacy.timeParserPolicy
时间戳/日期字符串的解析/格式化。当用户指定的模式用于解析和格式化时，这会对CSV/JSON数据源和unix_timestamp、date_format、to_unix_timestamp、from_unixtime、to_date、to_timestamp函数产生影响。在Spark3.0中，我们在Datetime模式中定义自己的模式字符串以进行格式化和解析，这是通过幕后的DateTimeFormatter实现的。新实现对其输入执行严格检查。例如，如果模式为yyyy，则2015-07-22 10:00:00 :00时间
浏览 10提问于2022-02-20得票数 1
2回答
我有一个包含以下模式和数据示例的CSV文件：
userId,movieId,tag,timestamp
28,63062,angelina jolie,1263047558
我有下面的代码来读取这个文件。
import org.apache.spark.sql.types._
val inputPath = "FileStore/tables/o8pa07nd1495067426592/tags.csv"
val customSchema = StructType(Array(
StructField("userId", StringType, tr
浏览 21提问于2017-06-24得票数 0
我的日期是高字节，比如: YYYYMMDD in a CSV。
当我使用简单的字符串类型时，数据加载正确，但是当我使用DateType()对象定义列时，我得到的所有内容都是空值。我可以在某个地方定义日期格式吗?或者Spark应该自动推断出来吗？
schema_comments= StructType([
StructField("id", StringType(), True),
StructField("date", DateType(), True),
])
浏览 0提问于2018-09-01得票数 0
1回答
我有一个csv文件，其中一些列是带有这种格式'dd/MM/yyyy :mm:ss‘的时间戳，以及时间戳格式为’dd:mm:ss‘的同一.csv文件中的其他列。在spark上读取csv文件时，我尝试了如下所示：
SparkSession spark = SparkSession
.Builder()
.AppName("Spark Project")
.GetOrCreate();
spark.Read()
浏览 3提问于2020-02-19得票数 0
回答已采纳
1回答
RDD到CSV JAVA
、、、
我正在使用Apache和Apache，我必须在HDFS中存储一个csv文件，以便能够在Kylin中创建一个多维数据集。其想法是将我获得的RDD转换为csv文件，并且我试图将我的RDD转换为csv文件，如下所示：
bookingDF.write().format("com.databricks.spark.csv").option("header", "true").save("hdfs://10.7.30.131:8020/tmp/hfile/e.csv");
但是我总是获得这样一个很长的错误，我认为这是因为我使用的对象的字段日期
浏览 0提问于2017-01-19得票数 1
回答已采纳
我试图使用JDBC读取Oracle表并将数据插入Hive表，但所有时间戳列的值都已更改(-6小时)。为什么会改变时间戳？*
我试着使用"spark.sql.session.timeZone"，"UTC“来触发配置，但是没有帮助。
val spark: SparkSession = SparkSession
.builder
.config(sparkConf)
.config("spark.sql.session.timeZone", "UTC")
.enableHiveSupport()
浏览 3提问于2019-11-08得票数 1
我有一个星火作业，它读取一些S3上的CSV文件，处理并保存结果，因为files.These CSV包含日语文本。
当我在本地运行此作业时，读取S3 CSV文件并将其写入本地文件夹中，日文字母看起来很好。
但是当我在我的星体集群上运行这个程序时，读取相同的S3 CSV文件并将拼图写到HDFS时，所有的日文字母都会被混淆。
运行在火花集群(数据被混淆)上
spark-submit --master spark://spark-master-stg:7077 \
--conf spark.sql.session.timeZone=UTC \
--conf spark.driver.extraJava
浏览 2提问于2020-05-18得票数 0
2回答
当我通过impala查询时，我将一个日期字段转换为hive中的时间戳为from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') as timestamp) as column_name,，时间以GMT格式显示。不仅我创建的列每个时间戳字段都要转换为GMT格式。
如何让它按原样显示时间？或者如何将其转换为est？
请帮我处理sql查询或spark/scala代码，我试过用这个，它对我很有帮助。
浏览 10提问于2017-01-24得票数 3
1回答
我有一个像.csv表一样的
进口熊猫为pd df = pd.read_csv('myFile.csv') df.head(3)
identifier identifier_type timestamp device_lat device_lon
0 68d62a1b-b928-4225-b445-9607415905b3 gaid 2020-03-19 03:03:00 UTC 44.808169 -73.522956
1 1675a629-a
浏览 0提问于2020-03-22得票数 1
回答已采纳
1回答
在Apache模板中转换unix时间戳属性存在问题。
FlowFile：ListenTCP组件侦听传入的Squid日志。然后，UpdateAttribute组件将适当的schema.name分配给适当的模式。随后，ConvertRecord组件将文件从格式转换为csv (在组件GrokReader/RecordWriter/CSVRecordSetWriter中，我已经使用MM/dd/yyyy :mm:ss格式完成了时间戳格式行)。最后，PutFile组件将输出文件写入磁盘。
基于此解决方案：
Squid发送的日志是这样使用代理的：
1518442283.483 161 127.0.
浏览 0提问于2018-02-20得票数 2
我从S3位置(文件夹)读取数据，其中文件被保存为csv.gz ('2.4.3‘版本)。
第一行是标题。
如果我只是将文件读取为df = spark.read.csv("s3://myfolder")并保存为df.write.mode("overwrite").parquet(write_folder)，那么->文件将被写入Parquet文件，但是当将它们读回某些DF时，默认情况下不会标识列(例如df.columns显示_c0, _c1...)。
怎样才能正确地将文件保存到Parquet，这样在以后读取parquet文件时就可以使用列名了？
我试图避
浏览 10提问于2020-01-20得票数 1
回答已采纳
1回答
我目前正在对Apache进行第一次尝试。我想读取带有.csv对象的SQLContext文件，但是Spark不会提供正确的结果，因为文件是欧洲的(逗号作为十进制分隔符，分号用作值分隔符)。有没有一种方法可以告诉Spark遵循不同的.csv语法？
val conf = new SparkConf()
.setMaster("local[8]")
.setAppName("Foo")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
浏览 4提问于2016-11-21得票数 4
回答已采纳
2回答
我在csv文件中有一个时间戳字段，我使用spark库将其加载到dataframe中。同一段代码在我的本地机器上使用Spark2.0版本，但在Azure Hortonworks HDP 3.5和3.6上抛出一个错误。
我已经检查过了，Azure HDInsight 3.5也在使用相同的Spark版本，所以我不认为这是火花版本的问题。
import org.apache.spark.sql.types._
val sourceFile = "C:\\2017\\datetest"
val sourceSchemaStruct = new StructType()
.add(&#
浏览 3提问于2017-04-06得票数 9
1回答
目前，当将时间戳从转换为时，我遇到了Azure的限制
在我的当前场景中，我们使用Spark来执行数据清理，当数据被写入CSV文件时，它以下列格式作为时间戳写出：
“yyyy mm-dd‘yyyy:mm:ss.SSSXXX”
2001-07-04T12:08:56.235-07:00
查看DateTimeOffset选项中的DATE_FORMAT选项，不支持上述输出中的粗体T。
是否有任何方法直接将传入的字符串解释为DateTime类型？
我目前的策略是将其作为VARCHAR加载并在以后进行清理。
浏览 3提问于2016-11-06得票数 2
回答已采纳
我正在尝试导入一个带有时间戳的大型.csv文件，并以浮动形式导入其他列。时间戳看上去如下：
2013-08-01 00:00:00 PST
它位于df中标记为“时间戳”的列中。
我试图使用熊猫导入它，特别是使用read_csv函数，并为date_parser参数添加自己的日期解析器。
我创建一个日期解析器如下：
dateparse=lambda x: pd.datetime.strptime(x, '%Y-%m-%d %H:%M:%S %Z')
并按以下方式执行read_csv
df=pd.read_csv(outputFile, sep=',', skipro
浏览 0提问于2018-02-26得票数 0
1回答
我正在将csv文件从s3加载到外部阶段。有些字段有“值”，如何避免“加载csv文件时”。
此外，我还遇到了以下错误:无法解析“2021-03-03 16:43:31”作为时间戳，格式为“AUTO”
如何避免这一错误？
浏览 1提问于2022-05-25得票数 0
1回答
我应该如何正确地使用Spark2.0 dataset API执行日期时间解析？
有许多用于数据帧/ RDD的示例，如
像这样的班级
case class MyClass(myField:java.sql.Datetime)
val mynewDf = spark.read
.option("header", "true")
.option("inferSchema", "true")
.option("charset", "UTF-8")
浏览 1提问于2016-10-06得票数 3
回答已采纳
我知道我可以使用spark.read.csv()或spark.read.json()将CSV文件或JSON文件作为一个DataFrame加载，但是如果我的源文件实际上是不同格式的，例如，我的一些原始数据在CSV文件中，而另一些在JSON文件中呢？我是否可以创建一个包含来自CSV和JSON文件的数据的DataFrame？也许我应该分别加载它们并在DataFrames上使用JOIN操作，或者我应该首先将所有JSON数据转换成CSV并使用单个spark.read.csv()加载它们，但是我想听听您的建议，因为我对Spark还是新手。
浏览 0提问于2021-08-14得票数 0
回答已采纳
你好，我在将时间戳转换为POSIXlt时所面临的所有问题，稍后需要提取年份、月份、天数、小时、分钟、秒。
2015-12-01 00:04:39 is my timestamp
这是我的尝试
getwd()
rm(list=ls())
library(ggplot2)
library(plyr)
library(reshape)
library(scales)
library(gridExtra)
library(SparkR)
Sys.setenv(SPARK_HOME="/usr/local/spark").libPaths(c(file.path(Sys.get
浏览 5提问于2016-08-11得票数 3
我在csv文件中有时间戳值，并且在jMeter的ThreadgGoup中加载该文件。我正在使用一个JSR223脚本来计算每个线程之间的延迟时间，但是我在这样做时遇到了问题。
我希望我的线程不基于真实生活数据，这就是为什么我使用csv日志文件中的时间戳。但是我不知道如何配置这个等式。我正在从脚本中的csv读取时间戳，我知道等待时间应该等于当前的时间戳值-前一个线程的时间戳值，但是我如何实现它呢？
def long wait=0;
// this returns the currents threads timestamp value from the csv
def long ts = Dou
浏览 3提问于2018-10-31得票数 1
1回答
在读取拼板文件时，是否有方法更改列的数据类型？我使用Sparklyr中的spark_read_parquet函数，但它没有columns选项(来自spark_read_csv)来更改它。
在csv文件中，我将执行如下操作：
data_tbl <- spark_read_csv(sc, "data", path, infer_schema = FALSE, columns = list_with_data_types)
我怎么能对拼板文件做类似的事情呢？
浏览 2提问于2017-07-24得票数 3
回答已采纳
我希望使用spark.read()从.csv文件中提取数据，同时强制执行模式。然而，我无法得到火花来识别我的日期作为时间戳。
首先，我创建一个要测试的虚拟文件。
%scala
Seq("1|1/15/2019 2:24:00 AM","2|test","3|").toDF().write.text("/tmp/input/csvDateReadTest")
然后我尝试读取它，并提供一个dateFormat字符串，但它不识别我的日期，并将记录发送到badRecordsPath
df = spark.read.format('
浏览 0提问于2019-04-26得票数 2
回答已采纳
我们从应用程序中的avro文件中读取时间戳信息。我正在测试从Spark 2.3.1升级到Spark 2.4的过程，其中包括新内置的spark-avro集成。然而，我不知道如何告诉avro模式，我希望时间戳具有"timestamp-millis“的logicalType，而不是默认的"timestamp-micros”。 从使用Databricks spark-avro 4.0.0包查看Spark 2.3.1下的测试avro文件来看，我们有以下字段/模式： {"name":"id","type":["string"
浏览 36提问于2019-02-07得票数 2
回答已采纳
我有带有时间戳的csv文件。我必须使用pyspark读取文件。但是时间戳我们不知道。请帮我看看怎么读？ 示例： filename - projectno_without_data_20211030.csv 我必须在不知道时间戳的情况下读取此格式- projectno_without_data_*.csv 我使用下面的代码- df_read_file = sqlContext.read.format('com.databricks.spark.csv').option("delimiter", '|').options(header='t
浏览 31提问于2021-11-17得票数 0
回答已采纳
我正试着把一些桌子从扳手复制到BigQuery。
我在csv文件中转储了扳手数据库，当我试图将该csv上传到BigQuery时，它抛出了时间戳格式的错误。
他们提到了BigQuery时间戳的限制。
如何将扳手时间戳转换为BigQuery时间戳？
浏览 0提问于2019-09-11得票数 0
回答已采纳
1回答
我有一个csv文件，需要使用CSVREAD导入。问题是它有不同的日期时间格式，所以需要解析it.Can，有人给我举了一个例子，说明我应该如何做？
我试过:从CSVREAD(‘MESSAGE_0.csv’)中选择*合并成消息( MESG_DATE_TO、MESG_DISPLAY_SEQ、MESG_TIME_DELAY、MESG_ID、REASONTYPE_MAJOR)；
这个查询是通过编程进行的，所以不能手工制作。问题是，有些列是日期时间类型，与H2中的列的日期时间格式不同，在解析时，我无法精确地确定哪些列将是日期时间，因此我无法轻松地将PARSEDATETIME和CSV文件包含任何列名或信息，
浏览 0提问于2013-10-12得票数 0
我通读了spark structured streaming文档，我想知道spark structured是如何确定事件已经迟到的？它是否将事件时间与处理时间进行比较？
以上图为例，粗体右箭头线" time“是否代表处理时间？如果是这样
1)这个处理时间是从哪里来的？由于它的流，它是否假设有人可能正在使用具有处理时间戳的上游源，或者spark添加了处理时间戳字段？例如，当阅读来自Kafka的消息时，我们会这样做
Dataset<Row> kafkadf = spark.readStream().forma("kafka").load()
默认情况下
浏览 0提问于2018-02-26得票数 4
我使用joda.time.Datetime库将字符串转换为datetime字段，但它引发不受支持的异常，这里是主要类代码：
//create new var with input data without header
var inputDataWithoutHeader: RDD[String] = dropHeader(inputFile)
var inputDF1 = inputDataWithoutHeader.map(_.split(",")).map{p =>
val dateYMD: DateTime = DateTimeFormat.forPattern(
浏览 4提问于2016-01-14得票数 2
回答已采纳
我是pySpark的新手。我试图在本地模式下优化我的程序的执行时间。我在某个地方读过这样的文章:将dataframe保存到parquet，然后再加载它，然后再对它进行任何转换，这会减少执行时间，尽管我不明白为什么。同时，在这样做的过程中，我注意到从地板加载比从csv加载的时间更长。在下面的示例中，我对数据进行了重新划分和合并，以最小化加载时间(8个分区--数据大小:大约400 in )。
我的主要问题是:对于如何提高我的程序的性能是否有任何指导方针，为什么拼板的加载时间比csv要长？
下面是一个例子
这是我的配置：
spark.driver.bindAddress: localhost
浏览 6提问于2021-05-18得票数 2
回答已采纳
在我的工作中，我正在将流写入CSV文件，之后我想立即从流中读取。但是我的readstream失败了，因为
"JVM方法执行失败:使用%1参数调用类370的非静态方法架构失败“
在独立集群中运行时，我可以看到写流创建了一些crc文件和空白csv文件。
# write stream
spark.writestream().format("csv").option("path","myfile.csv").start()
#read stream
spark.readStream().schema(myschema).Csv("my
浏览 15提问于2019-08-08得票数 0
回答已采纳
我在使用ExtentReports (5.0.5版)和JUnit 5，下面是我的BaseTest类片段。
public class BaseTest
{
protected static ExtentReports extent;
protected ExtentTest test;
protected ExtentTest node;
@BeforeAll
static void oneTimeSetup()
{
extent = new ExtentReports();
ExtentSparkReporter
浏览 1提问于2020-12-04得票数 1
我尝试从加载的json文件中读取自定义时间戳：
{"positionmessage":{"callsign": "PPH1", "name": "testschip-10", "mmsi": 100,"timestamplast": "2019-08-01T00:00:08Z"}}
{"positionmessage":{"callsign": "PPH2", "name": "testschip
浏览 2提问于2020-05-20得票数 0
回答已采纳
1回答
我正在努力学习Databricks学院的Spark课程，并在Databricks社区版中进行实践。在某种程度上，我需要从CSV创建一个表。
我正在尝试用UI创建表。我正在检查“第一行是标题”和“推断模式”框。birthDate字段在预览窗格中显示为字符串。根据课程材料，它应该是时间戳。但是，如果我将字段类型更改为时间戳，则数据将加载空值。如果我将birthDate字段保留为原来的(String)，则数据正在正确加载。
我如何处理这个问题？
birthDate字段中的示例数据：
1999年-09-13T04:00:00.000+0000
浏览 6提问于2020-06-28得票数 1
回答已采纳
3回答
我有一个可以使用spark_read_csv加载的数据帧。我使用最新版本的sparklyr和Spark (2.1.1)
# Source: table<df> [?? x 32]
# Database: spark_connection
NAME Date
<chr> <chr>
1 ABA 08-JUL-2016 00:00:02.075
现在这个时间戳是GMT格式的，我想把它转换成EST格式。
在"normal“R中，我会使用lubridate来做这件事，但它似乎不适用于sparkl
浏览 0提问于2017-06-16得票数 2
当我从一个blob写到另一个blob时，我面临一些问题。下面是我正在使用的代码。
df = spark.read.load(FilePath1,
format="parquet", modifiedAfter=datetime)
spark.conf.set("spark.sql.parquet.enableVectorizedReader","false")
df.coalesce(1).write.format("parquet").mode("overwrite").
浏览 4提问于2022-06-09得票数 0
1回答
我正在尝试用databricks将csv文件读入spark，但我的时间列是字符串格式的，我的时间列条目类似于：2019-08-01 23:59:05-07:00，我想将它转换为时间戳类型，下面是我尝试过的：
df = (spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv(path_to_file)
.withColumn("observed", unix_timestamp("dt
浏览 0提问于2019-08-29得票数 1
1回答
使用库sparklyr，我尝试以这种方式(在R中工作)在Spark中创建一个日期变量：
# Researching SPARK --------------------------------------------------------------------------
#library(data.table)
library(sparklyr)
library(dplyr)
setwd('C:/Users/aburnakov/Desktop')
#spark_install(version = "2.1.0")
r_spark_connectio
浏览 0提问于2018-02-01得票数 0
回答已采纳
我必须使用Spark从HDFS加载一个CSV文件到DataFrame中。我想知道是否有一个“性能”改善(查询速度)从一个DataFrame支持的CSV文件和一个支持一个拼花文件？
通常，我会像下面这样将CSV文件加载到数据帧中。
val df1 = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.load("hdfs://box/
浏览 4提问于2016-09-16得票数 8
回答已采纳
我开始使用spark，通常在从云中加载数据时，我会看到以下代码
my_sdf = spark.read.format("com.databricks.spark.csv").option("delimiter", ' ').load("s3n://myfolder/data/xyz.txt")
我的问题如下:这里我们似乎有两个数据集:一个是com.databricks.spark.csv，因为它是一个csv文件，对吗？另外一个数据集是xyz.txt，因为它是一个txt文件。那么在这个命令中，我要加载哪个数据集呢？我自己做了实验，似
浏览 0提问于2017-03-06得票数 0
1回答
我在Azure上有一个Databricks 5.3集群，它运行Apache Spark 2.4.0和Scala 2.11。 我正在尝试解析具有自定义时间戳格式的CSV文件，但我不知道Spark使用哪种日期时间模式格式。 我的CSV看起来像这样： Timestamp, Name, Value
02/07/2019 14:51:32.869-08:00, BatteryA, 0.25
02/07/2019 14:55:45.343-08:00, BatteryB, 0.50
02/07/2019 14:58:25.845-08:00, BatteryC, 0.34 我正在执行以下命令来读取它：
浏览 39提问于2019-05-10得票数 1
回答已采纳
我在AWS S3上有一个CSV文件和一个JSON文件(每个文件都有500万行/记录)。它们包含完全相同的数据，只是格式不同。
在有10个任务节点的EMR集群上，我启动了Spark (10个执行器，40个执行器核心)，并创建了两个DataFrames:一个针对CSV，一个针对JSON。
对构建在JSON文件上的DF的查询运行速度比对CSV构建的DF的类似查询快2-3倍。我没有发现任何关于跨存储文件格式的性能差异的信息。
有没有人知道为什么对JSON上的DF的查询比CSV上的DF运行得更快？
在下创建数据仓库的代码
针对JSON文件创建DF：
val hc_json = new org.apach
浏览 5提问于2015-11-03得票数 3
当我使用Spark DataSet加载csv文件时。我更喜欢清晰地指定模式。但是我发现有一些行与我的模式不兼容。列应该是双精度的，但有些行是非数字值。是否可以很容易地从DataSet中过滤出所有不符合我的模式的行？
val schema = StructType(StructField("col", DataTypes.DoubleType) :: Nil)
val ds = spark.read.format("csv").option("delimiter", "\t").schema(schema).load("f.
浏览 4提问于2018-04-09得票数 9
回答已采纳
我是StackOverflow的新手，所以请注意一下。任何指针都很好:)
无论如何，我有一个在Excel 2010中每周创建/使用的文件，该文件显示日期时间戳可降至毫秒。然后，我将这个.xslx文件转换为一个.csv。当我这么做的时候，它会在几秒钟内消失。我找到了一种解决这个问题的方法，使用这种格式只保留秒(不是理想的，但可行的)：
yyyy/mm/dd hh:mm:ss.000 (.csv will chop off the .000)
现在，我的用户抱怨数据没有根据毫秒进行排序。当我使用这种格式时，它确实保留了这些毫秒，但是一旦我转换了一个.csv，就会丢失它们。在Excel (.xslx
浏览 41提问于2014-09-03得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
