具有接收以下类型的基于时间的数据流(以元组的形式)的天气流应用： timestamp, } 现在，我的要求是检查每个传入记录的温度，如果温度超过35，则停止处理，并将最后10分钟的数据转储
浏览 3提问于2017-06-06得票数 0
4回答
我有一个接收事件的程序，希望分批处理它们，这样当我处理当前批处理时传入的所有项都将出现在下一个批处理中。Rx中基于TimeSpan和count的简单缓冲区方法将给我多个批次的项目，而不是给我一个大批次的所有进来的东西(当订阅者花费的时间超过指定的TimeSp
浏览 0提问于2012-11-28得票数 10
我正在项目中尝试新的ReactiveQuerydslPredicateExecutor，但我找不到像在QueryDslPredicateExecutor中那样用于findAll(谓词，可分页)的方法这是故意的吗？
浏览 51提问于2019-07-02得票数 4
我有一个简单的数据流管道配置为2秒的固定窗口。它从pub/sub读取，反序列化消息到对象，记录对象，根据给定的键对对象进行分组，然后对分组的对象执行一些处理。请记住，这是一个从1VM开始的数据流工作(不像它需要做洗牌，因为它只有一个VM)。它只看到几条消息(如2-3条)/秒。这似乎是没有意义的:有一个流式管道，处理在2秒微批，
浏览 6提问于2022-02-10得票数 0
回答已采纳
我在GAE + Google Cloud SQL上使用Django1.4-我的代码工作得很好(在dev上使用Django的本地sqlite3数据库)，但当我尝试“刷新”数据库时，出现服务器错误(500)
浏览 0提问于2013-04-27得票数 0
回答已采纳
2回答
我刚开始使用spring网络流量，我的当前spring引导应用程序使用调度程序(注释为@Scheduled)从DB读取数据列表，同时以批方式调用rest，然后写入我希望在Spring中实现的事件流。如何将来自DB的项批次到较小的集合(例如10个项)，并同时调用rest？
目前，应用程序在一个调度程序中获取最大100条记录，然后再对它们进行处理。我正计划转移到r
浏览 14提问于2021-01-09得票数 1
我尝试在Google数据存储中获取亚马逊EC2中的图像列表。我希望通过在GAE中执行cron任务来实现这一点。owner=liste_images_us_west[i].ownerId)问题是:使用get_all_images()获取列表只持续了几秒钟但是将数据写入Google数据存储需要太多的C
浏览 2提问于2010-03-28得票数 0
2回答
spark流中奇怪的延迟
、、、、
我最近一直在使用spark streaming来处理kafka中的数据。大多数情况下，数据处理在1-5秒内完成。然而，在几个批次之后，它连续花费了41 ~ 45秒，并且大部分延迟发生在从stage0获取数据的区域。我意
浏览 2提问于2017-01-18得票数 4
2回答
我创建了一个带有脚本组件的SSIS包，该组件从JSON调用数据并将其插入Server中的一个表中。我已经设置了添加新行的逻辑，但是我希望找到最合适的方法来删除/覆盖旧行。数据每4小时获取一次，因此每次运行包时都会有大约1000行的重叠。
我的第一个想法是在数据流任务之后添加一个SQL，该任务删除重复行( ID号最小)。但是，我想知道<e
浏览 2提问于2019-03-26得票数 1
回答已采纳
在spark streaming中，我们接收的DStreams是一批RDDs。那么窗口如何进一步提供帮助呢？
据我所知，它还批处理RDDs。如果我错了，请纠正我( Spark Streaming的新手)。
浏览 4提问于2015-10-08得票数 7
回答已采纳
我想使用火花流比较两批和过滤数据第一批：aaa 0bbb 0第二批：aaa1ddd 0key type相邻的两个批次，最后一个批次的数据(类型为0)必须是前一个<e
浏览 3提问于2017-06-07得票数 2
我已经阅读了TF页面和一些帖子，并了解了如何使用prefetch()和cache()来加速模型输入管道，并尝试在我的数据上实现它。Cache()和我预期的一样工作，即在第一个时期从dist中读取数据，在随后的所有时期中，它只是从内存中读取数据。但是我使用prefetch()有很多困难，我真的不知道什么时候和如何使用它。parse_tfrecord(x)函数是应用于模型之前所需<em
浏览 56提问于2020-09-08得票数 3
我们使用python beam SDK处理GCP的数据流。我们的管道依赖于外部系统，我们知道这些系统有一些延迟。如何编写等待N分钟的管道(其中N是我在启动作业时提供的常量)。诸如pubsub -> (休眠1分钟) ->从外部系统读取数据
我对"FixedWindow“的理解是，它将数据分组到时间范围内，所以如果我使用60<e
浏览 2提问于2021-02-19得票数 0
1回答
在对训练数据进行交叉验证的过程中，批量规范的使用显着地提高了性能.但是(在整个训练集上进行再训练)，批规范层的存在完全破坏了模型对一组保持集的推广。泛化w/o当前的批规范层是很好的(对于我的项目目标还不够高，但是对于这样一个简单的网络来说是合理的)。
我不能共享我的数据，但是有人看到一个明显的实现错误
浏览 4提问于2016-10-18得票数 2
回答已采纳
1回答
假设我有一个数据流，其中包含事件时数据。我希望在8毫秒的窗口时间内收集输入数据流，并减少每个窗口数据。timeWindow(Time.milliseconds(8))Point数据流的关键是处理时间的时间戳映射到处理毫秒时间戳<
浏览 2提问于2018-07-14得票数 1
回答已采纳
我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等
我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区编号在700左右)。这种方法在处理数据流时速度很慢，因
浏览 22提问于2016-08-11得票数 3
回答已采纳
在一定数量的元素到达之后，我正在尝试让apache发射光束。Apche光束版本是2.18.0，我是从公共部门消费的，但是数据到达的模式是事先知道的。他们按期到达相同大小的批次。假设每10秒就有5个元素到达。所以我想把每个批次的所有元素放在同一个窗口中，这样我就可以一起处理它们了。我使用的是elementCountAtLeast，因为我知道批处理<
浏览 3提问于2020-06-05得票数 0
我有一个场景，我需要以批次的用户定义的数字(例如，1K、5K、10K等)发送请求，每个批之间有一个指定的间隔。输入:数据来
浏览 1提问于2017-03-31得票数 1
1回答
数据流资源使用
、、、
在遵循数据流教程之后，我使用pub/ tutorial来大查询模板，将JSON记录解析为一个表。约伯已经流了21天了。本月法案出台后，我开始调查资源的使用情况。我使用了2,017.52 vCPU小时，内存7,565.825 GB小时，总HDD 620,407.918 GB小时。对于我一直摄入的少量数据来说，这似乎高得离谱。在使用数据流之前，我应该拥有最少的数据量吗？似乎对小箱子来说太过火了。是否有另一种更好的</em
浏览 6提问于2022-02-03得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
