在Python中缓慢更新全局窗口侧输入
是指在图形用户界面（GUI）应用程序中，通过定时器或其他方式，逐步更新全局窗口侧输入的内容，以提高用户体验和响应速度。
这种技术常用于需要处理大量数据或复杂计算的应用程序，以避免界面卡顿或无响应的情况。通过缓慢更新全局窗口侧输入，可以将计算任务分解为多个小任务，并在每个小任务完成后更新界面，从而实现平滑的用户界面交互。
优势：
- 提高用户体验：通过逐步更新全局窗口侧输入，用户可以立即看到部分结果，而不需要等待整个计算过程完成。
- 避免界面卡顿：将计算任务分解为小任务并逐步更新界面，可以避免长时间的计算阻塞界面响应。
- 增加程序可扩展性：通过缓慢更新全局窗口侧输入，可以将计算任务分解为多个小任务并并行处理，从而提高程序的并发性和可扩展性。
应用场景：
- 数据可视化应用程序：在绘制大量数据或复杂图形时，通过缓慢更新全局窗口侧输入可以实现平滑的绘图效果。
- 复杂计算应用程序：在进行复杂计算或模拟时，通过逐步更新全局窗口侧输入可以提高用户体验和程序的响应速度。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了一系列云计算相关产品，包括云服务器、云数据库、云存储等。以下是一些相关产品和其介绍链接地址：
- 云服务器（CVM）：提供弹性计算能力，支持多种操作系统和应用场景。了解更多：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版（CDB）：提供高可用、可扩展的关系型数据库服务。了解更多：https://cloud.tencent.com/product/cdb
- 云存储（COS）：提供安全、可靠的对象存储服务，适用于存储和处理各种类型的数据。了解更多：https://cloud.tencent.com/product/cos
请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。
相关·内容
我尝试按照文档(只提供了一个java示例) https://beam.apache.org/documentation/patterns/side-inputs/中的说明，让更新侧输入在python中工作我已经在Stackoverflow: https://stackoverflow.com/questions/63812879/how-to-
浏览 12提问于2021-08-31得票数 0
2回答
我正在尝试实现从java到python的slowly updating global window side inputs示例，并且我还停留在python中AfterProcessingTime.pastFirstElementInPaneAccumulationMode.DISCARDING, | "api_keys" >> beam.ParDo(ApiKeys())我希望使用它作为一个下游函数的Dict[str, str]输入，该函数将有60秒的窗口</
浏览 3提问于2020-09-09得票数 1
我想将一个PCollection写到多个BigQuery表中，根据PCollection的内容和不同的模式来编写不同的表，这些表的内容是通过一个侧输入到达的。我在DynamicDestinations文档中注意到了这一点
DynamicDestinations的一个实例也可以使用sideInput(PCollectionView)的侧输入。侧输入必须存在于getSideInputs()中。侧输入<
浏览 3提问于2017-05-23得票数 1
回答已采纳
1回答
我遵循了的代码片段，但没有打印任何内容。它只运行side_input，而不是整个。我用DirectRunner来做这个。from apache_beam.transforms.periodicsequence import PeriodicImpulsefrom apache_beam.transforms import window
for x in
浏览 1提问于2021-09-27得票数 0
回答已采纳
我在apache管道中使用侧输入，并且需要定期刷新这个侧输入。目前，我正在缓慢地更新Apache波束模式网站()中解释的全局windows端输入模式。.discardingFiredPanes())上面的代码每60分钟刷新一次侧输入问题是数据加载到侧输入仅从
浏览 7提问于2022-08-17得票数 0
回答已采纳
我想知道为什么#sideInput()方法会转移到ProcessContext类中？以前，我可以在#startBundle()方法中做一些额外的处理，并缓存结果。在#processElement()中这样做听起来不那么有效。当然，在将数据传递到视图之前，我可以进行预处理，但是仍然需要为每个元素调用#sideInput() .
谢谢你，G
浏览 1提问于2015-04-18得票数 4
回答已采纳
1回答
上下文：我们在云存储中有一些模式文件。在我们的数据流作业中，我们需要引用这些模式文件来转换数据。这些架构文件每天/每周进行更改。我们的数据源是PubSub，我们将PubSub消息窗口设置为固定的1分钟窗口。我们需要的模式文件非常适合内存，它们大约是90 MB。我尝试过的：指的是Apache中的，我们创建了一个侧输入，它用类似于这样的GenerateSequence写入全局窗口：
/
浏览 0提问于2020-01-22得票数 2
1回答
管道中的转换之一需要从kas键值对的文件中读取。该文件的大小为130.5 MB。该文件用作查找文件，其中一列作为查找的键工作。这是bigquery流管道的公共部分。后续行动：我试图读取的文件是GeoIP2-City.mmdb文件。基于MaxMind文档，我使用以下代码为该文件创建一个读取器对象。我希望传入DatabaseReader对象作为一个侧输入，因为我不想为从流中获得的每个元素创建这个对象。o.output(reader);
>
浏览 9提问于2020-12-03得票数 0
我在一个压缩的kafka主题中有缓慢移动的数据，在另一个主题中也有快速移动的数据。2)慢动数据是元数据，用于丰富快速移动数据。这是一个压缩的主题，数据很少更新(天/月)。
3)每个快速移动的数据有效载荷都应该有一个具有相同customerId的元数据有效载荷，这些元数据有效载荷可以用它们进行聚合。我想将快速/缓慢移动的数据聚合到customerId (这两个主题的数据中都很常见)。我在想你会怎么做？
浏览 1提问于2019-03-11得票数 0
回答已采纳
我需要访问一些额外的数据，以处理从公共部门收到的主要输入。如果我使用侧输入，那么在一段时间后(比如1天)，我需要更新缓存的侧输入数据。
浏览 2提问于2016-12-05得票数 3
我想通过python中的模块concurrent.futures使用并行来更新全局变量 事实证明，使用ThreadPoolExecutor可以更新我的全局变量，但是CPU并没有使用它们的所有潜力(总是在5-10%)，这是如此缓慢 ProcessPoolExecutor可以使用所有内核( 100%)，但我的全局变量不能更新，因为它们不共享相同的全局变量 如何在concurrent.futures模型中
浏览 685提问于2020-04-19得票数 4
我目前正在创建一个PCollectionView，方法是从gcs桶中读取过滤信息，并将它作为侧输入传递到管道的不同阶段，以便过滤输出。如果gcs桶中的文件发生了更改，我希望当前正在运行的管道使用这个新的过滤器信息。如果筛选器发生变化，是否有方法在每个新的数据窗口上更新此PCollectionView？我以为我可以在startBundle上做这件事，但我不知道它是如何做到的，也不知道它是否可行。如果可能的话，你能举个例子吗？
浏览 2提问于2016-12-21得票数 2
回答已采纳
新的数据很有规律地被添加到测量流中，比如每一个ID每秒一次。另一方面，只有当用户执行手动重新配置时，附加信息的流才会被更新。我们无法判断这种情况经常发生，特别是更新频率可能因ID而异。但是，由于附加信息流正在不规则地更新，而且也比测量流少得多，因此没有合理的通用窗口大小，因此每个ID至少有一个更新的信息。想法2:具有全局窗口和非默认触发器的CoGroupByKey
改进了前面的想法，我考虑使用处理时触发器，例如每5秒触发一次。想法3:侧</em
浏览 1提问于2021-02-05得票数 0
回答已采纳
我将示例简化为非常简单的一个--有两个CountingInput作为侧输入和主输入，过滤第一个输入的30个第一个滴答，并查找sideInput。sb.toString().substring(1) + "]"); }));
它在本地运行程序上运行得很好，但是在单个工作人员中，侧输入没有用BlockingDataflowPipelineRunn
浏览 11提问于2017-01-07得票数 0
考虑到这是一个流管道，并且将无限期地运行，在一个全局窗口上使用一个combinePerKey，并积累被触发的窗格，似乎它将继续增加内存占用和随着时间的推移它需要运行的数据量，所以我想避免它。此外，在测试此值时(可能是预期的)，它只是将新计算的聚合与历史输入一起附加到输出中，而不是使用每个键的最新值。我的想法是，使用StatefulDoFn只允许我输出到现在()为止的所有全局状态，但这似乎不是一个简单的解决方案。我看到了使用计时器人为地执行回调的暗示，以及可能使用
浏览 4提问于2020-05-01得票数 1
回答已采纳
我试图遵循这样的设计模式，使用来缓慢地更改流管道的查找缓存( Lookup，)。查找缓存的引用表位于BigQuery中，我们可以将它作为一个侧输入读入到ParDo操作中，但是不管我们如何设置触发器/窗口，它都不会刷新。尝试在源上设置非全局窗口会导致侧输入中出现空PCollection。
UPDATE：当尝试实现Pablo的答案所建议的策略时，使用侧输入
浏览 0提问于2019-03-08得票数 5
2回答
我知道，几周前已经对CDF服务进行了更新(默认的工作者类型&附加的PD被更改了)，并且明确地表明它会使批处理作业更慢。然而，我们的工作表现已经下降到超出了实际满足我们的业务需求的程度。例如，对于我们的一个作业:它从BigQuery中的表中读取270万行，有6个侧输入(BQ表)，执行一些简单的字符串转换，最后将多个输出(3)写入BigQuery。以下是一些统计数据：
6 BQ侧输入</e
浏览 3提问于2015-04-23得票数 4
回答已采纳
1回答
波束连接具有不同窗口策略的两个流
、、、、
我如何确定两个流上的哪些窗口要加入？我可以在一个流上有一个滑动窗口，并将其与另一个流上的固定窗口连接吗?示例使用情形是，我将一个流划分为固定的分钟/小时桶，但希望它们与24小时滚动/滑动桶连接，窗口必须与相同的开始时间对齐。在spark中这样做是可能的吗？
浏览 1提问于2018-01-25得票数 0
自从使用最新版本的Cloud (0.4.150414)以来，我们的作业在读取云存储(GCS)时运行得非常慢。在用10个VM运行了20分钟之后，我们只能读取大约20条记录，而以前我们可以阅读数百万的内容而没有问题。我们收到了一封电子邮件，通知我们，最新的构建将更慢，它可以通过使用更多的VM来抵消，但我们得到了类似的结果与50个VM。实例:N1-标准-2
浏览 3提问于2015-04-23得票数 2
回答已采纳
因此，我每2分钟加载一次(可接受的延迟)，作为一个侧输入，如下所示： p)
通过一个额外的print语句，我已经验证了每2分钟成功地加载这些信任，并将其输出到PCollection中。在处理PubSub消息的另一个步骤中，我使用了这些信息(我忽略了所有不相关的步骤，
浏览 6提问于2022-10-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
