腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1714)
视频
沙龙
2
回答
为什么
Kafka
Connect
对时间
戳
列
的
处理方式
不同
?
jdbc
、
apache-kafka
、
db2
、
apache-kafka-connect
我设置了一个
Kafka
Connect
配置来从DB2拉取数据。我使用
的
不是Avro,而是开箱即用
的
json。在数据库中
的
列
中有几个时间
戳
列
,当它们被流式传输时,它们是这样出来
的
: "Process_start_ts": 1578600031762,"created_ts": 1579268247984, &q
浏览 15
提问于2020-02-01
得票数 0
1
回答
有没有可能在
Kafka
Connect
Sink和KCQL中使用像dateof(now())这样
的
数据库函数?
apache-kafka-connect
我正在尝试从一个
kafka
主题做一个简单
的
Sink,比如INSERT INTO table SELECT * FROM topic,但也添加了一个值为dateof(now())
的
列
insert_timestamp在KCQL中为接收器连接器使用像这样
的
数据库函数是可能
的
吗?或者我可能需要编写一个自定义
的
接收器连接器来支持这一点?我会在列上使用默认值,但Cassandra似乎不支持。
浏览 1
提问于2018-03-08
得票数 0
1
回答
事件和流记录中
的
Flink时间
戳
apache-flink
、
flink-streaming
查看Flink
的
文档和书籍,我
对时间
戳
有疑问:如果流设置为事件-时间模式,这意味着时间
戳
具有进入Flink之前
的
源时间(甚至在通过消息队列(可能是
Kafka
)之前),
为什么
Flink将时间
戳
作为元数据附加到记录幻灯片3根据时间
戳
的
用途列出了
不同
类型
的
时间
戳
: 如果时间
戳
位于事件内部,
为什么
要将该值传递给记录
的
元
浏览 5
提问于2021-02-22
得票数 0
2
回答
时间序列数据
的
Kafka
与MongoDB
mongodb
、
logging
、
apache-kafka
、
time-series
我正在考虑是否
对时间
序列数据集使用MongoDB或
Kafka
。 乍一看,显然使用
Kafka
是有意义
的
,因为它就是为此而构建
的
。但我也希望在查询等方面有一定
的
灵活性。这让我产生了疑问:“
为什么
不直接使用MongoDB来存储带时间
戳
的
数据,并按时间
戳
对其进行索引?”天真地认为,这感觉像是具有类似于
Kafka
的
好处(因为它是通过时间偏移量索引
的
),但具有更大
的<
浏览 1
提问于2018-09-04
得票数 6
2
回答
如何在Confluent
Kafka
connect
- JDBC Oracle Source Connector中将时间
戳
值格式化为日期格式
jdbc
、
apache-kafka
、
apache-kafka-connect
我已经在
Kafka
Connect
中设置了一个JDBC Oracle Source Connector,并且在Oracle表中有一个时间
戳
列
,它
的
值被设置为日期格式"21-MAR-18 05.39.44.0194990Oracle表中
的
所有数据都会被提取到
Kafka
主题中,但oracle表中日期格式
的
列
(时间
戳
列
)
的
值将转换为毫秒,并在主题中显示为毫秒值。我希望收到<em
浏览 0
提问于2020-10-14
得票数 1
1
回答
合并来自多个
kafka
的
数据到单个
kafka
apache-kafka
、
cassandra
我有N个
Kafka
主题,有数据和时间
戳
,我需要将它们组合在一个具有排序时间
戳
顺序
的
主题中,其中数据在分区内排序。我有一种方法可以做到。将Cassandra中
的
所有
Kafka
主题数据(因为其快速写入)与聚类顺序降序组合在一起,它会将它们全部组合在一起,但限制是如果在数据累积
的
时间窗口之后,如果数据来得晚,则不会对其进行排序谢谢
浏览 1
提问于2020-04-20
得票数 0
2
回答
如何在
kafka
接收器连接器中添加带有
kafka
消息时间
戳
的
列
apache-kafka
、
google-bigquery
、
apache-kafka-connect
我正在使用properties/json文件配置连接器,在从源连接器读取消息时,我尝试添加一个时间
戳
列
,其中包含
kafka
时间
戳
,但没有成功。transforms.InsertField.timestamp.field=fieldtime我
的
源Config Sap连接器 "n
浏览 0
提问于2018-11-15
得票数 1
回答已采纳
2
回答
如何将时间
戳
追加到rdd并推送到elasticsearch
java
、
elasticsearch
、
time
、
apache-kafka
、
spark-streaming
我是spark streaming和elasticsearch
的
新手,我正在尝试使用spark从
kafka
topic读取数据,并将数据存储为rdd。在rdd中,我想在新数据到来时添加时间
戳
,然后推送到elasticsearch。 if(!
浏览 2
提问于2017-10-26
得票数 3
1
回答
Apache Flink - SQL
Kafka
连接器在事件时间上
的
水印不拉取记录
apache-kafka
、
apache-flink
、
flink-sql
我有一个类似于
的
问题。
不同
之处在于,我使用使用
kafka
connect
的
SQL来读取topic中
的
记录。我以固定
的
间隔获取记录,但不知何故,我没有获得输出中
的
最后几条记录。例如,
Kafka
topic
的
最后一条记录
的
时间
戳
是2020-11-26T13:11:36.605Z,聚合值
的
最后一条时间
戳
是2020-11-26T12:59:59.999。
浏览 0
提问于2020-11-27
得票数 0
1
回答
卡夫卡连接Debezium MySQL连接器时间
戳
发行
java
、
mysql
、
timestamp
、
apache-kafka-connect
、
debezium
源表中有两
列
,
列
数据类型为时间
戳
。(数据库,MySQL)中时,将在上面的字符串中遇到T和Z
的
问题,在目标数据库中,数据类型也是时间
戳
。错误日志:据我所知,Debezium正在将时间
戳
列
数据转换为() 我在Debezium连接器配置中尝试了org.apache.
kafk
浏览 13
提问于2021-12-22
得票数 0
2
回答
sqlite3
的
Kafka
JDBC源连接器时间
戳
模式失败
sqlite
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我尝试在sqlite中建立一个包含两个表
的
数据库。我
的
表中有一次有一个时间
戳
列
。我正在尝试实现时间
戳
模式来捕获数据库中
的
增量更改。
Kafka
连接失败,错误如下:CURRENT_TIMESTAMP' (io.confluent.
connect
.jdbc.dialect.SqliteDa
浏览 1
提问于2019-02-04
得票数 1
1
回答
卡夫卡流能与外部系统互动吗?
apache-kafka
、
apache-kafka-streams
、
apache-kafka-connect
我想使用
Kafka
流,但也与外部数据库和API交互。我读到过有人建议使用
Kafka
Connect
这样做,但我想知道怎么做和
为什么
。即使没有
Kafka
流,也可以查询数据库(即使它没有
Kafka
连接连接器)和每个记录
的
API吗?或者我应该为这个用例使用另一个处理引擎?
浏览 3
提问于2022-01-15
得票数 0
3
回答
kafka
-
connect
: SQLException:只有在使用分布式模式时,才没有合适
的
驱动程序。
mysql
、
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我们已经成功地使用了使用jdbc独立连接器
的
mySQL -
kafka
数据吞并,但是在分布式模式下(作为
kafka
连接服务),我们现在面临着同样
的
问题。我
的
连接器瓶在这里- -rw-r--r-- 1 root root 906708 Jul 29 01:18 zookeeper--r-- 1 root root 489884 Jul 29 01:18 lo
浏览 2
提问于2018-11-15
得票数 0
回答已采纳
2
回答
如何处理大量日志文件数据,以便在动态图表中显示?
ruby-on-rails
、
ruby
、
filtering
、
logfile-analysis
我有很多日志文件数据,我想显示动态图形,基本上是任意
的
时间段,可选地过滤或聚合
不同
的
列
(我可以预先生成)。我想知道在数据库中存储数据并访问数据以显示图表
的
最佳方法: 时间分辨率应该是可变
的
,从1秒到一年,有跨越几个“时间桶”
的
条目,例如一个连接可能已经打开了几天,我希望计算并显示她连接
的
每一个小时
的
用户,而不仅仅是在连接创建或完成
的
是否有最佳实践或rails工具/插件来帮助处理这种类型和数量
的</e
浏览 8
提问于2010-08-18
得票数 1
回答已采纳
1
回答
卡夫卡中
的
MySQL
的
日期时间转换为错误
的
时间
戳
(日期小于0100年)
mysql
、
apache-kafka
、
timestamp
、
debezium
为什么
卡夫卡中
的
MySQL
的
日期时间被转换成错误
的
时间
戳
(对于小于0100年
的
日期)?我有一个带有datetime
列
的
表,其中插入值0078-10-15 10:00:00.0000000,时间
戳
= 277293600000出现在此行
的
kafka
中(联机时间
戳
转换器的人工日期为15 10“ 它确实是这样工作
的
,但是数据库中
的
日期看起来是这样<em
浏览 3
提问于2022-10-05
得票数 0
1
回答
从另一个时间字符串中减去一个时间字符串
python
、
pandas
我有一篇专栏文章存储了两个
不同
的
时间: 17:05 | 17:10现在,这两
列
都存储为字符串。如何将它们转换为
对时间
戳
友好
的
数据类型?
浏览 0
提问于2018-11-13
得票数 1
回答已采纳
1
回答
Rails添加属性到实例变量不起作用?
ruby-on-rails
、
rest
在保存时间表之前,我尝试将时间表
的
时间属性设置为当前时间( Time.now )。但是,时间总是被设置为null。下面是我
的
创建方法: @timesheet = Timesheet.new else end我正在通过终端进行测试,我总是得到json
的
浏览 2
提问于2016-03-21
得票数 0
回答已采纳
2
回答
在JDBC中存储长时间
戳
..好还是不好?
java
、
sql
、
datetime
、
jdbc
我正在考虑使用long数据类型来存储通过System.currentTimeMillis生成
的
时间
戳
。如果这是个坏主意,还有什么更好
的
方法呢?
浏览 1
提问于2014-09-07
得票数 1
1
回答
棉花糖根据运行时间
戳
的
机器
对时间
戳
的
处理方式
不同
python
、
datetime
、
marshmallow
我正在用烧瓶开发一个用python制作
的
REST。我使用SQLalchemy和Marshmallow来处理和存储进出API
的
数据。基本上,在我
的
机器和其他机器上,我
浏览 7
提问于2017-05-05
得票数 3
2
回答
在php
的
不同
版本中返回
不同
结果
的
日期
php
我想得到他们之间
的
时间/分钟。比如:但我得到了奇怪
的
结果:
为什么
这样做,以及如何获得预期
的
结果?
浏览 1
提问于2014-01-12
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
这可能是北半球最暖的Kafka Connect数据管道教程:3
深入理解Kafka Connect:转换器和序列化
基于Kafka Connect的应用实践——打造实时数据集成平台
打造实时数据集成平台 DataPipeline基于Kafka Connect应用
CDC Debezium 介绍
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券