腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1167)
视频
沙龙
1
回答
Hazelcast-Jet
与
Kafka
源
和
汇
管道
的
稳定性
如何
?
java
、
hazelcast-jet
我正在运行
Hazelcast-Jet
的
3节点嵌入式集群,控制台中经常出现以下错误。可能
的
原因是什么?60,112 mscom.hazelcast.jet.JetException: Exception in ProcessorTasklet{str
浏览 14
提问于2019-05-13
得票数 0
1
回答
如何
安装Spring源代码
和
Sink
spring-xd
我刚刚在Spring上开始,在youtube上看了几个演示,我在这里指的是- 但我没有看到这些来源/
汇
。我只看到gemfire/cq,redis,jdbc,兔子,
kafka
,twitterstream
和
twittersearch 其余的
如何
浏览 2
提问于2015-10-26
得票数 0
回答已采纳
3
回答
Apache
与
JMS
的
连接
jms
、
apache-kafka
我想知道Apache能否
与
JMS通信并发送消息?我能在他们之间建立联系吗?例如,我在我
的
系统中使用JMS,它应该向使用
Kafka
的
另一个系统发送消息
浏览 5
提问于2016-01-25
得票数 1
回答已采纳
1
回答
如何
使用附带条件
的
jdbc在
kafka
中进行读写
jdbc
、
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
我有一个
Kafka
服务器,它可以在服务器之间同步一个表。我
的
数据库是PostgreSQL,我正在使用JDBC接收器/
源
连接器。现在,我
的
问题是
如何
从Source中
的
两个表读取数据,并将数据插入到Sink侧
的
四个不同
的
表中。
源
表:用户、角色
汇
表:工人,经理,雇主.在父服务器中,所有用户都可以在Users表中使用,并且
与
Role表有关系。在另一边,我希望根据它
的
角
浏览 1
提问于2019-05-25
得票数 0
回答已采纳
1
回答
DataStream/Table API
的
统一连接器
apache-flink
、
flink-streaming
、
flink-sql
我正在为Flink 1.14.4编写一个简单
的
连接器(
源
/接收器),它主要封装官方
的
Kafka
连接器,并自动设置ups自定义序列化程序/反序列化器。我对
和
中引入
的
新源代码/接收器接口的当前状态有点困惑。目前是否可以编写统一
的
连接器,真的(也就是说,跨不同API(如DataStream/Table)
的
连接器)?通过查看当前
Kafka
连接器
的
代码,我看到它具有传统
的</em
浏览 10
提问于2022-04-13
得票数 1
回答已采纳
1
回答
Apache +火花集成(需要REST?)
apache-spark
、
apache-kafka
有一些根本
的
问题,希望有人能把它们弄清楚。做完所有事情后,我执行火花壳,然后启动。我还在服务器上安装了动物园管理员
和
卡夫卡,我在后台启动了卡夫卡,所以这不是问题。当我运行http://161.xxx.xxx.xxx:4040/jobs/时,我得到了这个页面
浏览 4
提问于2017-06-23
得票数 0
1
回答
求汇源图
的
最小加权匹配
python
、
performance
、
graph
、
complexity
、
community-challenge
资料来源喉管 有一个有向加权图从
源
到
管道
到
汇
。
源
只连接到
管道
,
管道
只连接到水槽。但是
源
并不直接连接到
汇
。
管道
是零
和
,这意味着从
源
到每个
管道
的
权重之和等于从该
管道
到
汇
的
边缘之和。我想增加一些边缘从
汇
回到
源
,使
汇
和
<em
浏览 0
提问于2019-09-28
得票数 2
回答已采纳
3
回答
卡夫卡vs StreamSets
ssis
、
apache-kafka
、
informatica
、
streamsets
我读了一些关于卡夫卡
和
StreamSets
的
文章,我
的
理解是现在,以下是我
的
问题,请帮助澄清 卡夫卡
和
StreamSets
的
根本区别是什么?是
Kafka<
浏览 113
提问于2019-06-02
得票数 10
回答已采纳
1
回答
Hadoop可以做流媒体吗?
hadoop
、
apache-kafka
、
streaming
、
flume
、
stream-processing
有人建议Hadoop做流媒体,并引用了Flume
和
Kafka
作为例子。 虽然我知道它们可能具有流媒体功能,但我想知道它们是否可以
与
Storm/Spark/Flink等流处理技术并驾齐驱。
Kafka
是一个“发布-订阅模型消息传递系统”,而Flume是一个数据摄取工具。即使它们
与
hadoop交互/集成,从技术上讲,它们是“hadoop”本身
的
一部分吗?PS:我知道有一个是完全不同
的
事情。
浏览 4
提问于2018-04-07
得票数 0
2
回答
来自
Kafka
检查点
和
确认
的
火花结构化流
apache-spark
、
apache-kafka
、
spark-structured-streaming
在我
的
星星之火结构化流应用程序中,我正在读取来自
Kafka
的
消息,过滤它们,然后最终坚持到Cassandra。我用
的
是火花2.4.1。为此,我们设计了结构化流
源
、接收器
和
执行引擎,以可靠地跟踪处理
的
精确过程,以便它能够通过重新启动
和
/或重新处理来处理任何类型
的
故障。假设每个流
源
都有偏移量(类似于
Kafka
偏移量,或Kinesis序列号)来跟踪流中
的
读取位置。引擎使用检查点
浏览 0
提问于2019-04-24
得票数 2
2
回答
使用
Kafka
Connect构建数据转换服务
apache-kafka
、
apache-kafka-connect
卡夫卡流是好
的
,但我必须做每一个配置非常手动。相反,
Kafka
提供了它
的
API接口,它对于处理配置以及任务、工作人员等都非常有用。 因此,我正在考虑在我
的
简单数据转换服务中使用
Kafka
。基本上,服务将从一个主题读取数据,并将转换后
的
数据发送到另一个主题。为了做到这一点,我必须做一个定制
的
Sink连接器,将转换后
的
数据发送到
kafka
主题,但是,这些接口函数似乎在SinkConnector中不可用。在我
的
脑海中有两个
浏览 11
提问于2021-04-26
得票数 0
1
回答
Kafka
和
IIDR CDC
apache-kafka
、
db2
、
confluent-platform
、
cdc
、
ibm-infosphere
我正在尝试使用:DB2--IBM -
Kafka
来构建CDC
管道
,并试图找到正确
的
方法来设置这个
管道
。我试过在下面-2.使用- setup-iidr-11.4.0.1-5085-linux-x86.bin文件在linux上安装IIDR软件。各种在线文档建议安装“IIDR管理控制台”来配置
源
数据存储
和
CDC服务器配置,并配置
Kafka
订阅配置来构建
管道
。 目前
浏览 2
提问于2018-11-18
得票数 1
回答已采纳
1
回答
Azure数据工厂中
的
文件未通过复制数据完全读取
azure
、
azure-sql-database
、
azure-blob-storage
、
azure-data-factory
、
azure-synapse
我正在开发一个
管道
,它可以将位于Blob中
的
.txt文件中
的
数据插入到Storage中
的
表中。问题:活动配置不正常,原因是“没有读取文件中
的
所有记录,因此没有将所有数据加载到数据库中(当我打开文件并将来自.text文件
的
记录数
与
SQL表进行比较时,我意识到了这个问题”)。另外,当我在SQL表中搜索上个月
的
记录时,我没有找到它们) 注意:我从SQL中签出了表中字符
的
大小限制,这不是问题。我还想
与
您分
浏览 0
提问于2021-10-27
得票数 0
回答已采纳
1
回答
网络流-模拟水管网
algorithm
、
graph
、
max-flow
、
ford-fulkerson
我试图设计一种算法来模拟具有多个
源
和
多个特定容量
的
汇
的
管道
网络。到目前为止,我已经尝试使用经典
的
Ford-Fulkerson算法,但我遇到
的
问题是,给出了以下图表: | / \给定
源
容量为1
的
S,
汇
容量为1-a
的
B
和
C将导致S,使B饱和为1,使C保持流0。我试图在网络上统一分配流,这样B
和<
浏览 1
提问于2014-03-21
得票数 3
回答已采纳
1
回答
什么是StreamSets架构?
cloudera-quickstart-vm
、
streamsets
我们
如何
在分布式环境中扩展streamset?比方说,我们
的
输入数据速度从
源
开始增加,那么
如何
确保SDC不会给性能带来问题呢?将运行多少个守护进程?它是Master worker架构还是点对点架构?如果有多个守护进程在多个机器上运行(例如,一个sdc
和
一个NodeManager在YARN中),那么它将
如何
显示数据
的
集中视图,即总记录数等? 另外,请让我知道数据流性能管理器
的
架构。
浏览 4
提问于2017-12-08
得票数 3
6
回答
你用Apache
Kafka
做什么?
apache-kafka
我想问问我对卡夫卡
的
理解是否正确。 对于非常大
的
数据流来说,传统
的
数据库是不够
的
,所以人们使用Hadoop或Storm之类
的
东西。卡夫卡坐在上面所说
的
数据库,并提供...directions
的
实时数据应该去哪里?
浏览 11
提问于2016-05-17
得票数 23
回答已采纳
1
回答
使用带有Spark
的
Kafka
比仅使用Spark
的
优点
apache-spark
、
apache-kafka
、
stream-processing
Kafka
是很常见
的
。所以很多公司都在使用它。我完全理解
Kafka
和
Spark是
如何
工作
的
,我对他们都很有经验。我不理解
的
是用例。为什么你要把
Kafka
和
Spark一起使用,而不仅仅是Spark呢?在我看来,
Kafka
的
主要用途是作为ETL
管道
中
的
中转区,用于实时(流)数据。 我假设有一个数据
源
集群,数据最初存储在其中。例如,它可以是Vertic
浏览 3
提问于2019-06-17
得票数 3
1
回答
加入Flink SQL时不可预见
的
Tombstone消息
apache-flink
、
flink-streaming
、
flink-sql
我们有一个SQL作业(表API),它将从
Kafka
主题(8个分区)中提供
的
内容作为
源
读取,并在与其他数据
源
进行一些聚合之后,将其
汇
回另一个
Kafka
主题,以计算最便宜
的
数据
源
,并在该结果之上聚合额外
的
数据下面的图片用一些
Kafka
的
信息说明了这个问题: 这是我们从其中摄取数据
的
数据
源
。对于给定项目的最新更新显示,报价有一些变化。
浏览 12
提问于2022-09-22
得票数 1
回答已采纳
1
回答
对于HD Insight,
Kafka
Connect应该在Azure
Kafka
上部署在哪些节点上?
azure
、
apache-kafka
、
apache-kafka-connect
这些前提下
的
机器在4个节点上运行
Kafka
。我们部署这个API,在所有这些机器上执行这个API: /usr/hdp/current/
kafka
-broker/bin/connect-distributed.sh我们需要至少两个运行分布式连接API
的
节点,我们不知道在哪里部署它们: 关于工人节点(
ka
浏览 0
提问于2018-02-14
得票数 5
1
回答
卡夫卡动态消息编排流程引擎
apache-kafka
、
spring-cloud-stream
、
spring-cloud-dataflow
我正在试图了解哪些可能
的
工具包/框架可用于实现以下目标。 是
浏览 0
提问于2020-02-26
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
公共安全领域 Kafka 应用实践
使用Apache Kafka的Golang实践指南
这可能是北半球最暖的Kafka Connect数据管道教程:3
Kafka开发分布发布订阅消息系统学习路线
以Kafka Connect作为实时数据集成平台的基础架构有什么优势?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券