腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(270)
视频
沙龙
1
回答
Avro
logicalType
String
日期
转
换为
纪元
时间
戳
-
milis
java
、
avro
我有以下方案 {"name": "timestampstring", "type": [{"type":"
string
","
logicalType
":"timestamp-millis"},"null"]}, 我打算提供
日期
给它,并有转换转
换为
纪元
mili的
日期
。) { public Class&l
浏览 73
提问于2020-10-01
得票数 0
回答已采纳
2
回答
Avro
模式中的ISO 8601
日期
datetime
、
avro
、
iso8601
Avro
中是否可以使用"2019-08-24T14:15:22.000Z“这样的
日期
-
时间
字段? The docs says需要将int/long类型与
日期
/
时间
戳
的逻辑类型一起使用。但在这种情况下,您需要将
日期
作为
纪元
时间
戳
。我在找这样的东西: { "type":
浏览 44
提问于2021-11-19
得票数 2
2
回答
如何使用NIFI将
日期
插入mongoDB
mongodb
、
csv
、
apache-nifi
、
isodate
我已经将我的模式定义为:{"name" :"transactiondate","type":"
string
"} 因此,我将输出作为
浏览 0
提问于2018-02-12
得票数 1
回答已采纳
1
回答
如何在spark-
avro
2.4模式中设置
logicalType
?
scala
、
apache-spark
、
avro
、
spark-avro
我们从应用程序中的
avro
文件中读取
时间
戳
信息。我正在测试从Spark 2.3.1升级到Spark 2.4的过程,其中包括新内置的spark-
avro
集成。然而,我不知道如何告诉
avro
模式,我希望
时间
戳
具有"timestamp-millis“的
logicalType
,而不是默认的"timestamp-micros”。从使用Databricks spark-
avro
4.0.0包查看Spark 2.3.1下的测试<
浏览 36
提问于2019-02-07
得票数 2
回答已采纳
1
回答
谷歌BigQuery对
Avro
logicalTypes的支持
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
avro
正如谷歌所宣称的,不支持从
Avro
logicalType
转换到BigQuery特定类型(如描述的)。'fields': [ ],在BigQuery上使用类型为
时间
戳
的列。names
浏览 1
提问于2018-05-09
得票数 2
回答已采纳
4
回答
Avro
日期
和
时间
与BigQuery的兼容性?
google-bigquery
、
avro
BigQuery通常在加载
Avro
数据方面做得很好,但是"bq“在
时间
戳
和其他使用
Avro
logicalType
属性的
日期
/
时间
字段方面遇到了很多问题。当BigQuery
时间
戳
将其解释为微秒
时间
戳
时,我使用
Avro
类型的
时间
戳
-millis的数据就会出现故障。 可以加载到
时间
戳
中的<e
浏览 3
提问于2016-11-17
得票数 5
回答已采纳
1
回答
BigQuery:加载
日期
列数据类型为长
时间
转
换为
时间
戳
的
avro
文件
google-bigquery
、
avro
、
bq
我很难让BigQuery正确地从
avro
文件中加载
时间
戳
。{"name":"<masked>","type"
浏览 2
提问于2020-08-10
得票数 1
回答已采纳
1
回答
NiFi
Avro
Kafka消息nano-
时间
戳
(19位)转
换为
毫秒
时间
戳
apache-kafka
、
timestamp
、
apache-nifi
、
avro
、
nanotime
我现在面临着一个问题,将Kafka的消息记录类型为长的纳秒(19位)转
换为
毫秒的字符串
时间
戳
。,它在
avro
.schema中查找
时间
戳记录的模式,并添加"
logicalType
":" timestamp -micros“(因为我在
Avro
规范中找不到timestamp-nanos类型) 3)使用它使用上一步中分配的
时间
戳
,并将19位数转
换为
yyyy-MM-dd HH:mm:SS.SSSS
浏览 2
提问于2019-07-15
得票数 1
1
回答
时间
戳
与
avro
模式
apache-kafka
、
avro
、
vertica
我有Vertica调度器,它从Kafka消耗
avro
数据。Vertica的其中一列是TIMESTAMP,目前,我尝试定义了
Avro
模式,如下所示: "name":"startDate", "
logicalType
知道我需要在
avro
模式中更改什么吗?
浏览 76
提问于2019-05-30
得票数 0
3
回答
如何在scala中用date替换DataFrame中的
纪元
列
scala
、
apache-spark
、
dataframe
我正在编写一个spark应用程序,它接收
avro
记录。我正在将
avro
记录转
换为
Spark DataFrame (df)对象。df包含以秒为单位的
时间
戳
属性。(
纪元
时间
)val df = sqlContext.read.
avro
("/root/Work/PixelReporting/input_data/pixel.
avro<
浏览 2
提问于2016-05-03
得票数 0
2
回答
通过CLI将
AVRO
从桶加载到具有
日期
分区的BigQuery中
google-bigquery
、
avro
我试图通过带有
日期
分区的
AVRO
将数据导入BigQuery。通过cli导入时,与分区
日期
相关的错误必须是
日期
或
时间
戳
,但它正在获取Integer。fields": [ "name": "partition_date", "
logicalType
": "date"}
浏览 3
提问于2020-04-21
得票数 0
回答已采纳
2
回答
如何使用将
时间
戳
字段从毫秒转
换为
日期
时间
来将
Avro
GenericRecord转
换为
有效的Json?
avro
如何将
Avro
GenericRecord转
换为
Json,同时将
时间
戳
字段从毫秒转
换为
日期
时间
?当前使用
Avro
1.8.2 Schema schema = SchemaBuilder.builderSystem.out.println(genericRecord.toString()); 我尝试使用下面的函数,但结果与genericreco
浏览 11
提问于2018-08-23
得票数 6
回答已采纳
2
回答
用java从parse.com转换
时间
戳
java
、
parse-platform
、
prettytime
我将从createdAt取回对象的parse.com
时间
戳
,为2014-08-01T01:17:56.751Z。我有一个类可以将它转
换为
相对
时间
。public static
String
timeAgo(
String
time){ long
milis
= 0; SimpleDateFormat sd = new
浏览 7
提问于2014-10-26
得票数 0
回答已采纳
3
回答
使用带有--as-avrodatafile选项的Sqoop时的
日期
字段问题
sqoop
、
sqoop2
最初,我在处理空值(使用--null-
string
和--non-null-
string
处理)时遇到了挑战,根据建议将其设置为\N。当构建的hive表包含字符串字段时,即使是
日期
和数字字段,一切都很正常。 到目前为止基于建议的解决方案,我转向使用
Avro
格式导入。我已经在
avro
数据上构建了hive表,并且我能够查询表。现在,我需要创建配置单元连接,并将所有字段转
换为
它们所需的类型,如
日期
为
日期
/
时间
戳
,数字
浏览 1
提问于2014-08-27
得票数 2
1
回答
为什么Django时区设置会影响
纪元
时间
?
mysql
、
django
、
timezone
、
epoch
我有一个小的Django项目,将数据
转
储从MongoDB导入到MySQL中。在这些Mongo
转
储中是以
纪元
时间
存储的
日期
。我预计,无论时区如何,
纪元
时间
都是相同的,但我看到的是,Django 设置对在MySQL中创建的数据有影响。 我一直在使用MySQL 函数测试我的数据库输出。如果我插入一个
纪元
为1371131402880 (包括毫秒)的
日期
,我将时区设置为'America/New_York',UNIX
浏览 1
提问于2013-06-16
得票数 1
回答已采纳
2
回答
Apache NiFi/Cassandra - PutCassandraRecord无法转
换为
记录对象
cassandra
、
apache-nifi
我试图将
时间
戳
类型插入到Cassandra中,但是NiFi抱怨输入字符串"2019-02-02T08:00:00.000“的NumberFormatException。所述
时间
戳
字段的cassandra数据类型是(ts
时间
戳
)我使用的
Avro
模式:{ "name":"ts"," type ":{"type":"long","
logicalTyp
浏览 8
提问于2019-05-14
得票数 1
3
回答
将字符串格式的
纪元
转
换为
不带
时间
戳
的
日期
java
、
spring
、
spring-boot
我正在从API接收以
纪元
时间
表示的
日期
。它们是字符串格式,我想要的是简单地将其转
换为
不带小时、分钟和秒的
日期
,格式为dd / mm / yyyy。示例:我只是试着用
时间
戳
转换它,我用这个逻辑得到了这个结果。我得到的是1970年的
日期
,
纪元
时间
是昨天的5月26日。Timestamp ts=
浏览 0
提问于2020-05-27
得票数 1
2
回答
如何将存储为bigint的Java
时间
戳
转
换为
Presto中的
时间
戳
?
presto
如果我对hive表中的数据的
avro
模式是: "type" : "record", "namespace" : "com.company.messages" … 而且我使用presto来查询这个,我没有得到格式化的
时间
戳
。,然后把它们转换成毫秒精度的
时间
戳
,但我发现我没有明确的方法去做。select cast(&
浏览 5
提问于2017-06-14
得票数 3
回答已采纳
4
回答
同时转换
日期
和
时间
的strtotime
php
有人能告诉我如何使用strtotime()将像“星期二,2010年6月22日00:00”这样的
日期
转换成unix
时间
戳
吗?我还需要存储小时和分钟,不清楚是否最好使用strtotime。谢谢你的帮助!
浏览 0
提问于2010-07-27
得票数 1
回答已采纳
2
回答
Confluent Kafka SMT:
时间
戳
转换问题
apache-kafka
、
apache-kafka-connect
、
confluent-platform
(使用基于查询的CDC)date列的数据将作为
纪元
传入。我在连接器配置中包含了
时间
戳
转换步骤,以便将其转
换为
dd-MM-yyyy hh:mm:ss格式,但无法使其正常工作。取值格式:
浏览 1
提问于2020-06-08
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python基础教程 time
不要用你战术上的勤奋来掩盖你战略上的懒惰
如何将kafka中的数据快速导入Hadoop?
侠说java8-LocalDateTime时间篇,先mark后看
大数据分析Python的datetime日期时间教程
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券