我有以下数据集： list.add(new SAMPLE("1", "2018-01list.add(new SAMPLE("2", "2018-01-01 00:04:35.0"));
JavaRDD<SAMPLE> rdd = new JavaSparkContext(spark.sparkContext(
浏览 2提问于2018-07-23得票数 1
回答已采纳
1回答
我已经做了这段代码，我的问题是关于函数转换数据类型，我如何在同一时间转换数据集中包含的所有列(除了列时间戳)，另一个问题是如何对除列时间戳之外的所有列应用函数avg。非常感谢
val df = spark.read.option("header",true).option("inf
浏览 0提问于2017-03-01得票数 1
回答已采纳
2回答
org.apache.hadoop.hive.ql.metadata.HiveException： java.lang.UnsupportedOperationException：不支持时间戳。见蜂箱-6384；
在中执行下面的代码时出现以上错误。hive，当我运行命令spark_session.conf.get("spark.sql.hive.metastore.version")时，它显示为Hive 0.13版本。Hive0.13将不支持时间戳
浏览 4提问于2020-09-13得票数 1
2回答
在我的数据集中，我有两个时间戳列。第一个是自应用程序启动以来的微秒-例如，1400805323。第二个被描述为64位时间戳，我希望它将指示时钟时间，使用从1/1/1901开始的NTP格式的秒数。64位时间戳示例: 129518309081725000 129518309082059000 129518309082393000
浏览 2提问于2011-06-07得票数 4
回答已采纳
在我的数据帧中，我有一个TimestampType格式的列'2019-03-16T16:54:42.968Z‘，我想将其转换为格式为'201903161654’的StringType列，而不是通用的时间戳列这是因为我需要根据字符串格式的时间戳对几个目录进行分区，如果我对时间戳</em
浏览 79提问于2019-03-18得票数 1
回答已采纳
1回答
将列数据类型从字符串转换为时间戳时，值变为null。我有以下格式的值当我执行以下操作时，我希望将该类型转换为"timestamp“
df.withColumn('arrivetime', df['arrivetime如何在不影响值及其格式的情况下将列转换为时间戳？
浏览 12提问于2018-12-13得票数 0
我在Spark中有一个数据帧，它有一个列时间戳。我想在此数据框中添加一个新列，该数据框具有从此现有时间戳列创建的以下格式的DateTime。 “YYYY-MM-DD HH:MM:SS”
浏览 35提问于2021-06-24得票数 0
我正在使用Spark从Oracle导入数据，如下所示-var info : java.util.Properties(jdbcURL, tableFullName, info)
导入时将具有“日期”数据类型的列转换为"java.sql.timestamp“数据类型。在这个转换过程中，我面
浏览 1提问于2017-11-28得票数 0
回答已采纳
我有一个PySpark DataFrame df，它有一些列，如下所示。hour列采用UTC时间，我想创建一个基于time_zone列的具有本地时间的新列。我如何在PySpark中做到这一点？
浏览 2提问于2019-12-03得票数 5
回答已采纳
3回答
我想按时间戳订购一些从HDFS检索的avro文件。所以我在地图上有这样的时间戳：
case class Root(headers : Map[String,Strin
浏览 0提问于2019-05-01得票数 1
回答已采纳
我想在上的笔记本中使用PySpark创建一个简单的数据格式。dataframe只有3列：
stringStartTimeStanp - 'HH:MM:SS:MI'*EndTimeStanp -数据类型，例如“时间戳”或可以在表单‘HH:MM:SS:MI’*EndTimeStanp中持有时间戳(无日期部分)的数据类型--类似于“时间戳</
浏览 2提问于2021-06-22得票数 4
回答已采纳
我想通过编程来确定数据集的上次同步日期是否在某个时间范围内，我想知道是否可以将上次同步日期作为一列放入数据集中？
浏览 42提问于2021-11-19得票数 1
我正在尝试编辑一组用parquet编写的Spark文件。我使用Pyarrow将它们加载到Python中的Pyarrow数据格式中。其目标是用一些数据追加新行，并输出一组新的拼花文件。我遇到的问题是日期/时间列，在加载python中的parquet文件后，该列显示为dtype('<M8[ns]'。在添加<
浏览 2提问于2019-09-05得票数 1
回答已采纳
1回答
一直试图使用Spark&Scala将数据写入HBase。需求是-我必须根据来自业务的列的时间戳为HBase记录设置TTL。
将列的时间戳值转换为Epoch时间<
浏览 1提问于2018-11-21得票数 3
我想根据时间间隔向我的数据帧中添加一个新列。对于10:00 - 15:00，我想在新列中添加"day“，对于22:00-03:00，我想添加"night”。此外，我希望排除不在其中一个间隔内的所有行hour D_N01:10 night
浏览 0提问于2019-11-07得票数 0
1回答
没有我需要的sqlite3_column_date函数：for (NSString *key in [self valuesWithTypes]) { } i++;SQLite3表可以有一个日期/日期时间类型的列但是，看在上帝的份上，我怎么才能从一行中获得一个日期列
浏览 1提问于2010-10-03得票数 3
回答已采纳
1回答
我正试图找出一种方法，根据几个因素，我可以将熊猫/蟒蛇的两个dfs组合成一个。
与df_2中的时间戳相比，df_1时间戳始终是最早的</em
浏览 0提问于2019-02-27得票数 0
回答已采纳
我通读了spark structured streaming文档，我想知道spark structured是如何确定事件已经迟到的？它是否将事件时间与处理时间进行比较？1)这个处理时间是从哪里来的？由于它的流，它是否假设有人可能正在使用具有处理时间戳的上游源，或者spark<e
浏览 0提问于2018-02-26得票数 4
在s3://my-bucket/events/date=X/中，我将一个拼花数据集存储在多个部件文件中：
part001.snappy.parquetdataset中的事件有一个timestamp列，一个在ISO8601中的字符串。数据集中的事件完全没有排序。使用spark，我想
浏览 6提问于2017-08-30得票数 0
回答已采纳
1回答
我有一个以时间戳为索引的数据帧。我希望以分钟为间隔向数据集的开头和结尾添加更多行。例如：如果数据集在早上6: 00开始，我希望每分钟在数据集开始时从5: 00 am到6: 00 am的条目。
浏览 25提问于2019-05-09得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
