腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
从
kafka
接收
特定
日期
的
数据
、
、
我想订阅主题并
接收
特定
日期
的
数据
。方法调用抛出异常: Confluent.
Kafka
.KafkaException:本地:错误状态 我
的
代码: adminClient = new AdminClientBuilder(_kafkaConfig.AsEnumerable
如何
按
日期
设置偏移量
浏览 97
提问于2021-01-19
得票数 1
回答已采纳
1
回答
是否有可能从nifi
接收
数据
,并将该
数据
添加到
从
kafka
接收
的
数据
?
、
是否有可能从nifi
接收
数据
,并将该
数据
添加到
从
kafka
接收
的
数据
? 我尝试输入
数据
并查看
数据
。但我不知道
如何
获得这些
数据
。你得到队列中
的
堆叠
数据
了吗?是否导入存储在
特定
目录中
的
数据
?一旦您输入了某些
数据
,请按住它一段时间。(例如,'testtext')
浏览 0
提问于2019-04-17
得票数 0
1
回答
如何
摄取卡夫卡
的
数据
到Siddhi?
、
我通过本教程设置了一个
Kafka
事件
接收
器:我
如何
开始摄取卡夫卡
的
数据
,并开始将其推送给我上面创建
的
事件
接收
器?我是否必须在Siddhi启动一些程序,才能开始
从
Kafk
浏览 1
提问于2017-07-18
得票数 0
1
回答
web UI中
的
输入大小列表示什么?
、
spark streaming中批次
的
输入大小表示什么?它是指示批次中
的
行数还是其他什么?我读了卡夫卡
的
文章。
浏览 2
提问于2017-09-26
得票数 0
2
回答
Spark Streaming:
Kafka
重启后输入速率不正常
、
我目前正在spark上运行一个流媒体应用程序,它使用新
的
直接方法(没有
接收
器)消费一个简单
的
kafka
主题。由于我们在
Kafka
集群上遇到了一些问题,即使在
Kafka
上恢复正常后,流媒体应用程序也遇到了一些问题:一些作业正在处理几乎空
的
rdd,而另一些作业正在处理两倍大小
的
rdd。我在
Kafka
和Spark两边都没有发现任何堆栈或线索。 有人能告诉我
如何
解决这类问题吗?或者至少到哪里去看一看,以了解发生了什么?
浏览 0
提问于2016-05-18
得票数 0
2
回答
我应该
如何
将我
的
事件流坚持到冷库?
、
、
、
、
我有一个事件流(我们可以将它们称为“消息”,甚至仅仅是“
数据
”),它们来自具有基于时间
的
保留
的
事件代理。事件代理可以是、或,但我们可以说是卡夫卡。我
的
目标是获取这个事件流,并将其放入冷库;也就是说,通过Hadoop/Spark存储
数据
以供将来
的
分析。这意味着我希望将这个“聊天”事件流转换为HDFS中
的
“块状”文件。我还希望我
的
解决方案具有成本效益;例如,使用像Avro/ORC这样
的
序列化格式来降低磁盘空间成本。我也
浏览 3
提问于2014-10-31
得票数 3
1
回答
基于WAL
接收
机
的
电火花卡夫卡集成
、
、
、
我在Databricks读了下面的博客 1.卡夫卡
数据
不断被火花工人/执行者中的卡夫卡
接收
者
接收
。使用了卡夫卡
的
高级消费者API。2.
接收
到
的
数据
存储在Spark
的
worker/executor内存以及WAL中(在HDFS上复制)。卡夫卡
接收
机只在
数据
被保存到日志后才将卡夫卡<
浏览 1
提问于2017-06-30
得票数 1
2
回答
将PostgreSQL
数据
复制到基图斯/格林梅利?
、
、
、
、
我需要在
数据
仓库中集成来自3个不同PostgreSQL
数据
库(OLTP应用程序后端)
的
数据
。对于
数据
仓库本身,我考虑使用Citus或Greenplum。有一项要求,即来自应用程序
的
数据
必须与
数据
仓库尽可能接近实时地同步(延迟3-5分钟以上
的
所有内容都是不可接受
的
,实时复制将是最好
的
)。Citus是Postgres
的
扩展,你能把它当作一个普通
的
Postgres<em
浏览 0
提问于2021-02-04
得票数 0
1
回答
kafka
连接器更新rest api不更新
接收
器
数据
、
、
、
我正在使用错误
的
转换运行
接收
器,这会在
接收
器mysql表中产生错误
的
数据
,但当我使用PUT rest API更正
接收
器配置并运行它时,它运行成功但没有更新
接收
器表中
的
现有
数据
?
浏览 0
提问于2019-08-23
得票数 2
4
回答
如何
保存火种消耗到ZK或
Kafka
的
最新偏移量,并在重新启动后可以读取
、
、
、
我使用
Kafka
0.8.2
从
AdExchange
接收
数据
,然后使用Spark Streaming 1.4.1将
数据
存储到MongoDB。我
的
问题是当我重新启动我
的
Spark Streaming作业时,比如更新新版本,修复bug,添加新功能。它将继续阅读最新
的
offset of
kafka
,然后我将失去
数据
AdX推动卡夫卡在重新启动作业。我尝试了一些类似于auto.offset.reset -> smalles
浏览 5
提问于2015-08-06
得票数 14
回答已采纳
2
回答
如何
并行发送/处理到
kafka
主题/分区?
、
、
我有一个冲槽代理(1个源,1个通道,1个
接收
器),
从
特定
的
目录(Spooldir)读取
数据
并发送到
Kafka
Sink。根据我
的
观察,它只是写入
特定
的
分区。启用并行发送/处理到
kafka
主题/分区
的
配置是什么?
浏览 1
提问于2017-05-02
得票数 0
1
回答
记忆图
如何
与卡夫卡流一起工作?
Memgraph是否充当
Kafka
的
流源
的
接收
器,然后一旦
接收
到消息,将它们组织到一个图形
数据
库中?如果是,这些消息是
如何
组织
的
。我不明白
如何
将消息
从
它们在
特定
主题中
的
格式转换为图形
数据
库可以理解
的
内容,比如Memgraph。
浏览 1
提问于2022-09-28
得票数 0
回答已采纳
1
回答
Spark Streaming中驱动使用直接
Kafka
API查询分区偏移量
的
频率是多少?
、
是针对每个批处理间隔查询偏移量还是以不同
的
频率查询偏移量?
浏览 1
提问于2015-11-17
得票数 1
1
回答
从
mysql中提取每日
数据
更改并将其部署到timeseries DB
、
、
、
、
在MySQL中,使用binlog,我们可以提取
数据
更改。但我只需要在那个时间/一天内所做
的
最新更改,并需要将这些
数据
输入到timeseries DB (计划使用druid) 在读取binlog时,有没有什么机制可以避免重复并保留最新
的
更改?我
的
意图是每天在timeseries
数据
库中备份整个MySQL
数据
库。它有助于通过参考当天存在
的
实际
数据
来调试我
的
应用程序
的
过去
日期
浏览 4
提问于2021-10-28
得票数 0
1
回答
Kafka
基于键连接读取值并写入HDFS
、
、
、
是否有任何方法只
接收
特定
事件类型
从
kafka
主题到HDFS使用
kafka
连接HDFS连接器过滤其余类型? 我们能否使用存储在模式注册表中
的
键来获取
特定
于avro格式
数据
的
特定
主题中
的
值?如果我
的
浏览 1
提问于2018-07-10
得票数 0
回答已采纳
2
回答
如何
在Spark structured streaming中读取
特定
的
Kafka
分区
、
、
、
我
的
Kafka
主题有三个分区,我想知道我是否可以
从
三个分区中
的
一个读取。我
的
客户是spark structured流媒体应用。 下面是我在spark中现有的
kafka
设置。val inputDf = spark.readStream .option("
kafka
.bootstrap.servers", brokers) .option
浏览 15
提问于2019-02-15
得票数 2
回答已采纳
2
回答
卡夫卡消费者:
如何
在Python中读取
特定
的
Avro字段?
、
、
、
、
在下面的用户片段中,我能够
接收
到发送
的
数据
。
如何
访问要处理
的
整个
数据
中
的
特定
值。from confluent_
kafka
import KafkaErrorfrom confluent_
kafka
.avro.serializer
浏览 0
提问于2020-03-11
得票数 0
回答已采纳
2
回答
卡夫卡
的
火花DStream总是从一开始就开始
、
、
查看我对解决方案
的
公认答案
的
最后评论 val kafkaParams = Map[String, Object](在Bhima Gogineni
的
回答中,我更改了我
的
配置如下: val consum
浏览 3
提问于2018-07-04
得票数 0
回答已采纳
1
回答
使用Python Spark streaming
从
http下载
数据
、
、
、
我是PySpark
的
新手,我在我
的
Ubuntu14.04上安装了
Kafka
单节点和单代理。安装完成后,我测试了使用
kafka
-console-producer和
kafka
-console-consume发送和
接收
数据
的
Kafka
。Good morning this is test mes
浏览 24
提问于2016-09-27
得票数 1
1
回答
Kafka
接收
器连接-
如何
为每个主题(表)创建一个任务
、
、
我们已经为我们
的
产品实现了一个名为Ampool ADS
的
kafka
接收
器连接器,它将来自
kafka
主题
的
数据
摄取到相应
的
ampool表中。主题和表通过它们
的
名称映射。我需要将单个主题(
从
topic ->表中摄取)处理到一个专用
的
接收
器任务中。因此,例如,如果我
的
配置包含3个不同
的
主题(topic1、topic2、topic3),
接收
浏览 2
提问于2017-04-24
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何将kafka中的数据快速导入Hadoop?
大数据:从错误的角度出发 如何从数据中获得价值?
如何从繁多庞杂的数据中迅速找到目标?
如何从大量的“数据”中产生支持决策的“智能”?(三)
入侵Capital One的黑客是如何从云端窃取数据的?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券