腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
改变
运动
的
碎片
amazon-kinesis
我找不到任何地方谈论如果减少no.of分片会发生什么,也就是说,如果我通过控制台将no.of分片从2改为1,消费者是否会自动链接到新
的
分片,或者需要做些什么。
浏览 6
提问于2020-03-16
得票数 0
1
回答
动态分区键
的
值应该是什么?
apache-flink
、
amazon-kinesis
所以,我认为这会很容易回答,但我
的
谷歌技能正在干涸。 我有一个flink生成器,它当前将默认
的
Paritition设置为"0“。现在我想处理多个
碎片
,我需要
改变
它,但是我找不到一个好
的
partitionKey应该是什么
的
好描述。在我们
的
代码库中,有些只是传递当前时代
的
秒。其他人接受他们正在阅读
的
流
的
前100个字符。什么是
运动
期待
的
价值?如果我发送一个与
碎片</em
浏览 13
提问于2022-07-27
得票数 0
回答已采纳
1
回答
亚马逊流
运动
碎片
计数计算器公式是如何工作
的
?
amazon-web-services
、
amazon
、
sharding
、
amazon-kinesis
我正在努力学习aws
运动
流,并根据aws动态流文档。每个
碎片
摄取高达1MB/秒或1000条记录/秒,并允许读取高达2MB/秒和5次事务。因此,我
的
疑问是:如果我
的
数据包大小为250 it,并且每片只允许1MB
的
写入,那么要获得每秒200条消息
的
吞吐量,我需要大约50个
碎片
(如下图所示,每个AWS计算器为49个).But,同时使用aws提供
的
碎片
计算器,它也要求用户
的
数量,如果我提供了(比
浏览 3
提问于2017-12-11
得票数 0
2
回答
当试图查询胶水表时,无法创建读取表错误
的
源
sql
、
amazon-web-services
、
apache-flink
、
amazon-kinesis
、
amazon-kinesis-analytics
我对使用apache
的
动态分析演播室很陌生,基本上我有一个数据流,其中有数百条记录,我想做一些实时
的
基本分析,所以我浏览了并使用下面的代码创建了一个胶水表:'json.timestamp-format.standard' = 'ISO-8601'); 该表已成功创建,我可以在胶水数据目录中看到它,但当我试图使用基本
的
select
浏览 3
提问于2021-11-10
得票数 1
1
回答
基于KCL
的
应用程序中
的
负载平衡与扩展
java
、
amazon-web-services
、
amazon-kcl
我正在弄清楚这件事
的
几件事。 KCL如何确保负载平衡和扩展。例如,我有一个有一个
碎片
的
流,很多记录/事件在一天中或某一时间被放置15分钟。那么它将如何处理这些突如其来
的
交通和负载。
浏览 0
提问于2018-02-05
得票数 4
回答已采纳
1
回答
使用KCL使用者对AWS
运动
数据流消息进行再处理
amazon-web-services
、
amazon-ec2
、
amazon-kinesis
、
amazon-kcl
一个使用者正在使用自动缩放组()运行,它是根据EC2机器上
运动
数据流
的
配置
碎片
数量来配置
的
,这意味着如果
运动
数据流有配置好
的
碎片
的
n数,那么EC2机器
的
最大n数可以配置为根据本文档使用来自每个
碎片
的
消息现在,当消息到达
运动
数据流时,消息将被实时处理,因为shard类型
的
迭代器被设置为KCL使用者
的
LATEST。有关更多信息,请查看。为KCL使用者
浏览 6
提问于2022-09-02
得票数 0
1
回答
亚马逊动态多个出版商
amazon-web-services
、
amazon-kinesis
在推送记录时,我已经检查过了,如果有两个
碎片
,shard1 & shard2和两个不同
的
生产者lambda,我们可以使用分区键属性将其放入不同
的
碎片
。我有几个问题: 如果多家出版商说有两个兰博达用一个
碎片
推进到一个
运动
流,它会不会导致任何种族状况?有可能两个不同
的
来源可以推送到单个
碎片
吗?每个生产者推荐哪一个不同
的
碎片
,对于多个生产者推荐哪一个?
浏览 0
提问于2018-06-16
得票数 3
回答已采纳
1
回答
当消费缓慢时,缩放我
的
动态消费者
amazon-web-services
、
amazon-kinesis
、
producer-consumer
假设我有一个AWS动态流和2个
碎片
。因此,我有两个消费者从每个
碎片
消费。 队列中有大量
的
条目,而我
的
使用者正在缓慢地使用它。但是,我想知道我是否能够重新分配我
的
队列(它将在各个
碎片
之间分发记录),并为该
碎片
添加消费者。也就是说,在重新分配我
的
流后,将有4个
碎片
,因此有4个消费者。这也会增加消费,解决我
的
问题。第二种方法
的
优点和缺点是什么,因为第二种方法通常是在队列有摄入问题时提出
的
浏览 1
提问于2022-03-04
得票数 0
1
回答
动态
碎片
与分区键
amazon-web-services
、
amazon-kinesis
如果在创建Kinesis数据流时,我指定了要分割
的
碎片
数(例如10 ),并且每次放入记录时,我都会为它分配一个随机
的
分区键,如下所示: PartitionKey = GetRandomPartitionKey()
运动
如何决定将一个记录放在一个特定
的
碎片
中,如果唯一
的
分区键
的
数量大于
浏览 1
提问于2019-01-27
得票数 5
回答已采纳
2
回答
如果我通过lambda处理流事件,我应该关心dynamodb流
碎片
吗?
java
、
amazon-web-services
、
lambda
、
amazon-dynamodb
、
amazon-dynamodb-streams
说有
碎片
,需要先迭代它们,然后对每个
碎片
进行迭代,以获得记录
的
数量。文件还说: (如果您使用DynamoDB Streams Kinesis,这是为您处理
的
:您
的
应用程序将以正确
的
顺序处理
碎片
和流记录,并自动处理新
的
或过期
的
碎片
,以及在应用程序运行时分裂
的
碎片
。好
的
,但是我用
的
是兰巴而不是
运动
(它们不是相互关联
的</e
浏览 6
提问于2017-10-01
得票数 3
1
回答
改变
碎片
android
、
fragment
如果我不知道哪个片段是先前
的
片段,如何实现添加/替换片段?以及如何做默认
的
显示片段?
浏览 0
提问于2013-08-27
得票数 1
回答已采纳
1
回答
在增加运行时
的
碎片
时,Kinesis如何保证消息
的
顺序?
sharding
、
amazon-kinesis
我刚读完Kinesis,当我阅读Kinesis时,我意识到提供了相同分区键
的
消息将被映射到相同
的
Shard,以保证订单。这完全有道理。但是,我想知道如果在运行时增加主题
碎片
的
数量,是否会像以前一样将具有相同分区键
的
新消息散列到相同
的
碎片
(旧消息)中?如果是这样的话,如果所有的消息都提供了分区键,那么它们都不会被映射到新
的
Shard?这对我来说毫无意义。 如果没有,那么Kinesis如何按照顺序保证具有相同分区键
的
消息
的</em
浏览 1
提问于2020-09-28
得票数 0
回答已采纳
1
回答
什么是
运动
数据流中
的
碎片
?
amazon-web-services
、
amazon-kinesis
、
data-stream
什么是
碎片
在
运动
数据流和分区键。我看过aws文件,但我不明白。有人能用简单
的
术语来解释吗?
浏览 1
提问于2019-06-09
得票数 15
回答已采纳
4
回答
亚马逊动态与保证订购
amazon-web-services
、
amazon
、
amazon-kinesis
亚马逊声称,他们
的
动态流媒体产品保证了记录
的
订购。 但是Kinesis能保证,在不将订购逻辑推送给消费者
的
情况下,开箱订购流本身吗?消
浏览 6
提问于2016-08-31
得票数 28
1
回答
算法问题:最小
碎片
运动
algorithm
、
sharding
在分布式系统中,我有一个
碎片
移动问题。最初,每个分区负责任意数量
的
碎片
。其目标是使
碎片
分配尽可能一致,即任意两个分区之间
的
最大
碎片
数差最多为1,并尽量减少移动
碎片
的
数量。 例如,假设最初有三个分区,P1、P2和P3。P1处理5个
碎片
,P2处理3个
碎片
,P3处理1个
碎片
。然后,一个新
的
分区P4出现,因此系统重新定位。重新分配
的
结果是,一个分区处理3个<e
浏览 0
提问于2019-07-12
得票数 1
1
回答
圆形物体碰撞
algorithm
、
collision-detection
、
physics
我有两个
碎片
碰撞
的
问题。如何找出两块
的
碰撞点。然后,如何找出碰撞后
碎片
运动
的
角度和距离,我在上找到了碰撞点
的
解。这里
的
解是用三角学来描述
的
,但是我要用向量数学来解决这个问题。这样就可以很容易地解决碰撞后覆盖
的
距离问题。
浏览 4
提问于2015-01-24
得票数 0
1
回答
带
运动
火花汽蒸
的
无接收机方法
apache-spark
、
spark-streaming
、
amazon-kinesis
对于使用kafka
的
星火流,我们有Directstream,它是接收者较少
的
方法,并映射kafka分区以触发RDD分区。目前,我们有一个应用程序,我们在RDBMS中使用Kafka Direct并维护我们
的
on偏移量, 是否流与动态映射
运动
碎片
到RDD分区?如果我在传入
的
RDD上使用forEachPartition,我可以在
碎片
级
浏览 0
提问于2017-04-25
得票数 2
1
回答
如何在Java或Tomcat上部署KinesisAutoscaling.war?
amazon-web-services
、
tomcat
、
amazon-ec2
、
autoscaling
、
amazon-kinesis
我想自动管理
运动
碎片
,所以我想在Tomcat上部署KinesisAutoscaling.war。我发现步骤()部署在弹性豆柄。 类似的方式,我希望一步一步
的
解决方案部署到Tomcat上。
浏览 0
提问于2018-11-22
得票数 0
回答已采纳
2
回答
AWS Kinesis + Lambda函数:我可以在一个
碎片
中同时调用一个Lambda函数
的
多个实例吗?
amazon-web-services
、
aws-lambda
、
amazon-kinesis
根据,可以有多个Lambda函数实例并行运行,每个实例处理一个
碎片
。会不会发生多个Lambda函数实例同时在同一个
碎片
上处理?这是不会发生
的
,只有在e_4和e_5
的
调用完成之后,另一个调用才能处理e_2和e_3,我
的
理解是正确
的
吗?
浏览 1
提问于2019-08-17
得票数 1
回答已采纳
1
回答
直接从Lambda调用
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-kinesis-firehose
、
amazon-kinesis
到达Lambda
的
数据来自Dynamodb流。因为,对于推到S3桶,使用火软管被认为是最好
的
,因为它在推到S3之前对数据进行批处理和缓冲,并提供重试策略。所以,我使用
的
是消防软管,而不是直接推到S3。 但我观察到很多人将数据从Lambda推送到Kinesis,其中
的
数据被推送到,而不是直接从AWS Lambda推送到火喉。有什么理由这样做吗?直接推到动力消防软管
的
缺点是什么?
浏览 0
提问于2019-06-23
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
碎片时间改变人生,这些科技资讯一定别错过
“时间碎片”的价值
热点|NFT 碎片化生态:蓬勃发展的碎片化赛道
碎片化知识的重构
碎片化时代的反思
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券