腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
kafka
消费者
时间
戳
使用
哪个
时区
,
如何
更改
?
datetime
、
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
我正在
使用
Kafka
生成数据并进行计算。在
消费者
中,我
使用
以下代码打印
使用
的数据: consumer = connect_
kafka
_consumer() print (messageserialized_key_size=-1, serialized_value_size=250, serialized_header_size=-1) 我的问题是关于timestamp的,我可以
使用
这是
哪个
<e
浏览 92
提问于2020-10-24
得票数 0
3
回答
由于要求失败而找到损坏的索引文件:找到损坏的索引,索引文件
apache-kafka
Kafka
诉0.11.0.2
Kafka
broker在PST
时区
运行了大约一个月,然后由于OS补丁,Admin将
时区
更改
为EST,重新启动后,我们看到了
消费者
消息的重放(
使用
者偏移量被重置为0)。我们让管理员把
时区
改回PST,他们花了3天
时间
来改变它。在将
时区
更改
回PST之后,在代理重新启动期间,我们看到了下面的日志消息(即使对于Topics和__consumer_offsets ->警告,
浏览 0
提问于2018-06-29
得票数 4
1
回答
指定ksqlDB
使用
者的偏移量
apache-kafka
、
ksqldb
可以
使用
以下命令
更改
新
消费者
的默认偏移量 SET 'auto.offset.reset'='earliest'; 我想知道是否可以像普通的
kafka
消费者
一样按
时间
戳
指定偏移量?
浏览 16
提问于2020-10-12
得票数 1
2
回答
卡夫卡
消费者
收到的旧信息很少(并非全部)(之前已经处理过)。
apache-kafka
、
consumer
当生产者发送消息时,就会实时地
使用
消息.一切都如期而至。然而,最近在一台生产服务器上,Devops意外地将
时区
从PST
更改
为EST,作为OS修补程序的一部分。在
Kafka
服务器重新启动后,我们看到很少(不是全部,而是随机的)旧消息正在被
消费者
消耗。我们要求Devops将其
更改
为PST并重新启动。同样,这些旧信息也在本周末再次出现。最近,我们的CentOS进行了补丁更新,不知何故,管理员从PST
时区
更改
为EST,并启动了
Kafka
服务器
浏览 0
提问于2018-06-24
得票数 3
2
回答
Kafka
多分区排序
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-streams
我知道在
Kafka
中不可能对多个分区进行排序,并且分区排序只保证组内的单个
使用
者(对于单个分区)。然而,在
Kafka
Streams 0.10中,现在可以实现这一点吗?如果我们
使用
时间
戳
特性,使得每个分区中的每个消息都保持顺序,那么在
消费者
端,假设
使用
Kafka
Streams 0.10,现在这是可能的吗?假设我们收到了所有消息,我们可以不根据消耗的
时间
戳
对所有分区进行排序,然后将它们转发到单独的主
浏览 0
提问于2016-09-19
得票数 8
1
回答
KSQL/KStream -根据生产
时间
获取偏移量
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
、
ksqldb
我知道
使用
Kafka
消费者
的api,我们可以获得对应于特定
时间
戳
的偏移量(getOffsetsByTimes())。 在KSQL或KSTream中,
如何
获取偏移量并开始从基于
时间
戳
的点开始重放流?
浏览 0
提问于2018-12-13
得票数 0
1
回答
事件和流记录中的Flink
时间
戳
apache-flink
、
flink-streaming
查看Flink的文档和书籍,我对
时间
戳
有疑问:如果流设置为事件-
时间
模式,这意味着
时间
戳
具有进入Flink之前的源
时间
(甚至在通过消息队列(可能是
Kafka
)之前),为什么Flink将
时间
戳
作为元数据附加到记录幻灯片3根据
时间
戳
的用途列出了不同类型的
时间
戳
: 如果
时间
戳
位于事件内部,为什么要将该值传递给记录的元数据?另外,事件和
浏览 5
提问于2021-02-22
得票数 0
1
回答
如何
使用
Oracle的“日期”类型列创建UTC索引?
oracle
、
index
、
oracle-10g
、
datatypes
我有一个Oracle数据库,其列类型为“DATE”,在本地
时区
存储
时间
戳
。我需要用UTC
时区
中的
时间
戳
查询这个列。
如何
在
使用
UTC
时间
戳
查询时在列上创建索引,以及
如何
设置查询的格式?
浏览 0
提问于2011-11-30
得票数 1
回答已采纳
1
回答
3.x -回放消息策略
apache-kafka
、
kafka-consumer-api
、
spring-cloud-stream
我正在寻找一些关于
使用
Spring 3.x /
Kafka
绑定器实现的
Kafka
主题的回放消息策略的指导- 为ex重播特定消息。主题的
时间
戳
窗口。
如何
为
消费者
组中的所有或部分
消费者
重置偏移量?谢谢您抽
时间
见我。
浏览 1
提问于2020-08-18
得票数 1
2
回答
我应该对传感器数据
使用
时间
戳
还是日期
时间
mysql
、
datetime
instrumentID`,`utcDateTime`)localDateTime列是多余的,所以我想去掉它,但我还必须跟踪本地
时间
,因为我们允许用户
更改
传感器的
时区
,这就是为什么我要保留记录数据的本地
时间
。我还希望将utcDateTime的数据类型
更改
为timestamp,以便可以在SELECT查询中执行
时间
转换。我应该坚持
使用
这个模式,还是应该创建另一个表来跟踪
时区
浏览 14
提问于2017-03-03
得票数 1
回答已采纳
1
回答
Flink
Kafka
连接器0.10.0事件
时间
澄清和ProcessFunction澄清
apache-flink
、
flink-streaming
我在为flink的卡夫卡
消费者
连接器的事件
时间
问题而挣扎。引用 卡夫卡的
消费者
不会发出水印。我想到了一些问题和问题: 我怎么知道它的
时间
<e
浏览 5
提问于2017-08-31
得票数 2
2
回答
Debezium
如何
设置
Kafka
消息
时间
戳
apache-kafka
、
debezium
我没有找到任何关于Debezium
如何
设置
Kafka
消息
时间
戳
的文档-以及是否设置了它。从值的比较来看,
Kafka
消息
时间
戳
始终落后于数据库表(source.ts_ms)
更改
的
时间
戳
,也落后于Debezium (ts_ms)处理
更改
的
时间
。这表明
Kafka
消息
时间
戳
只是由
Kafka
代理设置为摄取
时间</
浏览 42
提问于2021-04-20
得票数 0
1
回答
卡夫卡:
如何
给
消费者
投票超时价值?
java
、
apache-kafka
、
kafka-consumer-api
我正在
使用
Kafka
0.10.2,为了接收
Kafka
的记录,我有一个
消费者
投票循环,如下所示: ConsumerRecords<Long, String> records"offsetsForTimes“API查找偏移量来开始
时间
戳
。我们得到的记录,直到我们到达最后的
时间
戳
。 记录是
使用
consumer.poll API获取的。
如何
知道
消费者</e
浏览 2
提问于2017-10-08
得票数 0
1
回答
生成“假”流数据。卡夫卡
java
、
apache-kafka
、
apache-flink
、
stream-processing
、
event-stream-processing
我试图生成流数据,以模拟在不同的
时间
范围内接收两个值( Integer类型)的情况,
使用
时间
戳
和
Kafka
作为连接器。 我正在
使用
Flink环境作为
消费者
,但我不知道
哪个
是最好的解决方案的生产者。或者,如果我把Flink制作出来的数据作为一个制作人,发送给
Kafka
,然后用Flink在结束时再
使用
它,也许会更好?我怎么才能从弗林克那里做到呢?或者,还有另一种简单的方法来生成流数据并将其传递给
Kafka</em
浏览 2
提问于2018-08-20
得票数 2
1
回答
Python SDK与CBT中的Bigtable
时区
差异
google-cloud-bigtable
、
bigtable
我正在本地的Bigtable Emulator上测试Bigtable Python SDK和CBT 我注意到SDK和CBT的
时区
不同。两者都是从python SDK的Bigtable模拟器中的同一个表中读取,它似乎被设置为GMT+0,而CBT在GMT+8 (我的马来西亚
时区
)读取它。我正在试图弄清楚为什么会这样,以及
如何
确保CBT和SDK读取相同的
时区
。 ? 谢谢
浏览 17
提问于2020-09-22
得票数 1
3
回答
如何
覆盖
时间
戳
以根据特定
时区
保存到数据库中?
php
、
mysql
、
laravel
、
laravel-5
、
timezone
现在,我的Laravel应用程序在此
时间
戳
的基础上将任何项保存到数据库中。目标我该怎么做?
浏览 10
提问于2022-01-22
得票数 0
1
回答
Kafka
获取对应消息id的分区ID
python
、
apache-kafka
、
kafka-consumer-api
我正在编写一个
Kafka
消费者
(用python编写),它需要从特定的
时间
戳
开始流式传输给定关键字的所有消息。集群
使用
默认的分区策略,并且每个消息都被赋予了一个键,因此我知道我想要的所有消息都在单个分区上。 问题是,我
如何
才能找到我的消息被写到了
哪个
分区? 也就是说,我需要这样的东西。(伪代码) import
kafka
target_msg_key =
浏览 107
提问于2021-10-20
得票数 0
回答已采纳
1
回答
为什么在将TZ环境变量设置为另一个
时区
后,Heroku日志会带有UTC
时间
戳
?
heroku
、
logging
、
timezone
、
environment-variables
、
heroku-cli
按照this answer中所述的过程
更改
dyno的服务器
时区
后,
使用
命令heroku log --tail或查看应用程序仪表板上的日志,
时间
戳
仍然显示为UTC。例如,一个Heroku贡献者试图通过TZ="Asia/Kolkata设置IST,我已经
使用
TZ=America/New_York做了同样的事情。但是,无论在TZ环境变量中选择
哪个
时区
,日志中的
时间
戳
都保持为UTC。
浏览 27
提问于2020-11-09
得票数 0
回答已采纳
7
回答
如何
在
Kafka
中从旧的偏移点获取数据?
apache-kafka
、
offset
、
zookeeper
、
apache-zookeeper
我正在
使用
zookeeper从
kafka
获取数据。在这里,我总是从最后一个偏移点获取数据。有没有办法指定偏移量的
时间
来获取旧数据? 有一个选项是autooffset.reset。它接受最小或最大。
浏览 11
提问于2013-02-18
得票数 36
回答已采纳
1
回答
将unix
时间
转换为UTC日期
时间
mysql
、
time
、
utc
、
epoch
我试图在数据库中插入
时间
戳
,我需要
时间
戳
在UTC
时间
,而不是服务器的
时区
。INSERT INTO my_table SET time = FROM_UNIXTIME(:epochTime) 但是新插入的datetime值不在UTC
时间
内,我
如何
做到这一点?也许我也应该
使用
,但我不知道从
哪个
时区
进行转换。
浏览 0
提问于2014-03-27
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MySQL存时间,到底该用timestamp还是datetime?
如何将kafka中的数据快速导入Hadoop?
系统解读Kafka的流和表(二):主题、分区和存储
Apache Kafka 3.0 发布,离彻底去掉ZooKeeper更进一步
Fiori日期时间处理系列-ABAP如何处理日期和时间
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券