首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >利用流分析将数据插入CosmosDB

利用流分析将数据插入CosmosDB
EN

Stack Overflow用户
提问于 2017-06-22 11:42:30
回答 3查看 858关注 0票数 1

我的CosmosDB很忙,所以我失去了数据,因为Stream没有缓冲数据。

我目前的Azure设置如下:

WebAPI -> EventHub ->流分析工作-> CosmosDB

我的问题是,如果我回过头来启动我的流,然后它有很多记录,CosmosDB会很忙,并返回HTTP429(超过限制),这将导致我拥有dataloss。

是否有一种方法来抑制流分析的工作,或者我应该做一个完全不同的设计,以避免有数据?

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2017-07-14 07:23:25

根据下面的MSDN ASA实际上在429上重试,我只是期待另一个行为。https://blogs.msdn.microsoft.com/streamanalytics/2016/04/18/troubleshooting-azure-stream-analytics-jobs-on-new-portal-2/

票数 0
EN

Stack Overflow用户

发布于 2017-06-23 09:14:27

根据您的描述,我建议您可以尝试更改设计,以避免有数据开放,因为我们无法节流流分析工作。

我建议你试着使用流分析窗口函数翻滚窗

滚动窗口函数用于将数据流分割成不同的时间段,并对它们执行一个函数。

我建议您可以使用此函数从一段时间内获取数据。然后,您可以将这些数据合并到一个文档中,并存储到DB中。

例如,可以将窗口设置为1秒。这意味着您在一分钟内将60条记录插入数据库。

票数 0
EN

Stack Overflow用户

发布于 2017-06-26 18:03:22

您为您的收藏准备了多少RU?您是否尝试过简单地扩展您的收藏以满足需求?CosmosDB最近还引入了RU/ can的概念,它可以在背压场景中有所帮助,因为当您超过每秒准备的吞吐量时,它提供了额外的吞吐量。

这篇文章很好地介绍了如何使用RU/分钟。

Azure Dev博客更详细地讨论了这一点。。文章的相关引文(粗体是我的重点)

为了测试RU/m,我们在开发环境中设计了追赶或故障恢复测试。以前,我们为收集分配了300 for /s。我们启用了RU/m,并将计算容量从300 and /秒降至100 and/秒。这给了我们额外的100万RU/m。为了将我们的写操作推向极限,并测试我们的追赶场景,我们模拟了一个上游故障。我们停止播放了大约20个小时。然后,我们开始流待办数据,并观察应用程序是否可以追赶较低的RU/s加上额外的RU/m。开发环境的负载也与我们在生产中看到的相同。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44698431

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档