我正在开发Apache光束中的数据转换管道，其中我需要一些查找表来帮助转换每个传入的记录。 我可以将查找表作为辅助输入传入，但需要注意的是，传入的记录可能会更新我正在使用的查找表。有没有一种方法可以更新查找表，然后将更新广播给每个其他工作进程？ 更新:一种可
浏览 11提问于2019-01-15得票数 2
对于BigQuery表中的每个新用户条目，我必须向该用户发送一封电子邮件。我使用Apache Beam从BQ获取这些条目，并且对于每个条目，我向RESTful Web服务发送一个请求，以发送电子邮件并等待响应。问题是，当请求的数量变得太大时(比如一百万)，来自web服务的响应会非常晚，并且Apache光束作业处于挂起状态。有没有一种方法可以在一分钟后停止等待响应，并在Apache
浏览 14提问于2019-03-01得票数 0
我愿意使用Apache光束从URL而不是文件中获取数据输入。我找不到它的一些内置方法。有什么办法可以做到吗？
浏览 12提问于2020-03-04得票数 0
回答已采纳
我的目标是处理来自Solace的消息，并使用Dataflow上的流式Apache光束管道将结果写回Solace。使用是其中一种选择。有没有更好的方法？
浏览 1提问于2018-10-28得票数 1
1回答
我订阅了对数据的更新(这些消息提供给我与HashMap中已经存储的实体相关的新数据)。我对Apache的了解有限，我只知道如何对管道数据进行转换以创建另一个单独的PCollection。我认为这就是光束的意义，它是为了将大数据集转换成不同的形式。是否有一种方法可以实现我需要的东西(基于发布/订阅更新数
浏览 0提问于2018-11-21得票数 16
我需要访问一些额外的数据，以处理从公共部门收到的主要输入。如果我使用侧输入，那么在一段时间后(比如1天)，我需要更新缓存的侧输入数据。或者是否有任何方法以列表或映射的形式将其他数据传递给转换，以便我可以使用第三方缓存管理器刷新这些数据。
谢谢。
浏览 2提问于2016-12-05得票数 3
尝试将Kotlin用于利用Apache光束的应用程序时，我收到警告：我假设在实现中的某个地方，他们使用反射来确定所使用的特定类型；有没有一种方法可以在Kotlin中干净利落地使用它？
浏览 23提问于2020-02-12得票数 1
2回答
我正在尝试运行一个数据流应用程序，以便运行它的容器具有特权，或者至少具有特定的功能(例如CAP_SYS_PTRACE)。以为例，我可以用Apache光束这样运行它： --region us-central1，我可以用docker ps看到启动的容器没有特权，也没有保留任何功能(在它的CapAdd<em
浏览 5提问于2021-11-17得票数 1
我使用固定的窗口按事件时间对数据进行批处理，以便有效地将其发送到外部API (以60秒为一批)，累积模式被设置为丢弃，因为如果延迟数据发送到外部API而没有先前数据，这并不重要。是否可以指定无限的允许延迟，这样延迟数据就永远不会被丢弃？
浏览 17提问于2021-06-30得票数 1
回答已采纳
有没有一个地方我们可以快速参考和查看Apache beam和运行时环境(Flink，Spark等)之间的版本兼容性。我正在以一种艰难的方式学习它：我不确定我的问题有多少是由版本错误造成的。目前我使用的是光束2.4.0，看看flink runner pom ()，它使用的是flink 1.4.0 jars。所以我假设Apache beam 2.4.0可以与A
浏览 0提问于2018-06-14得票数 0
我已经创建了一个Java apache光束流管道，我计划在google dataflow上运行它。我知道几种方法来计算每个客户端、每个窗口的totalErrorsInThisWindow和totalSuccessInThisWindow -一种方法是删除除ipAddress和errorOrSuccess第一个想法是使用侧输入，但我认为使用不断变化的侧输入不会很好地工作。
另一种选择
浏览 0提问于2019-07-18得票数 1
我在我的DoFn管道中遇到了性能问题，它使用了大约1 1GB的大型侧输入。侧输入是使用pvalue.AsList()传递的，它强制实现侧输入。流水线的执行图显示，特定步骤花费了读取端输入的大部分时间。到目前为止，读取的数据总量远远超过侧输入的大小。因此，我得出结论，侧
浏览 0提问于2019-09-25得票数 1
我观察到，当google-cloud-pubsub (在我的例子中是0.21.1-beta)是一个依赖项时，Apache光束抛出了Jetty ALPN/NPN has not been properly有没有不涉及删除google-cloud-pubsub的解决方法。
Apache梁版本- 2.1.1
浏览 0提问于2017-11-08得票数 0
1回答
我试图加入多个kafka流和查找使用Apache。我使用侧输入来处理查找表，并在直接运行程序中完成所有工作。但是，当我尝试在火花模式或flink模式下运行它时，我了解到不支持侧输入。这些是Jira Bugs的几个链接。
我可以对此使用有状态处理吗？我知道每个键每个窗口都可以使用状态
浏览 0提问于2019-08-01得票数 1
1回答
与侧输入连接
、、、
我可以在Apache中加入一个PCollection和一个PCollectionView (通过侧输入)吗？在中，在查询中实现联接的方法是创建一个只接受PCollections的PCollectionTuple。，我有一个从BigQuery表读取一些数据的侧输入。侧输入每X小时更新一次。.and(new TupleTag<
浏览 5提问于2022-03-29得票数 0
1回答
我想在一个单一的工作中使用多种输入格式。我使用过org.apache.hadoop.mapreduce.lib.input.MultipleInputs，但是这个实用程序似乎只针对HDFS上的输入(有路径)。有没有一种方法可以使用来自不同来源的多种输入格式？我希望有一个任务，它可以从现有的弹性搜索索引(利用提供的提供<e
浏览 2提问于2014-01-23得票数 1
回答已采纳
Apache光束的当前版本不支持来自google spanner的类型代码11 (json)，因为它使用了google-cloud-spanner的一个版本，该版本是当前版本后面的两个主要版本。因此，我更新了我自己的版本来做到这一点-还没有完全弄清楚如何在Github上做一个适当的PR或运行测试。
无论哪种方式，这都需要一段时间。我听说有一种方法可以在DataFlow上指定自定义Apache cus
浏览 7提问于2021-11-22得票数 0
我的beam管道将数据导入bigquery，最近需要支持更新和删除。由于BigQuery对我一天内可以执行的更新和删除的数量有每日限制，因此我希望有一个单独的进程，大约每30分钟运行一次，以便将更新和删除合并到主数据集中。有没有什么方法可以用Apache光束做到这一点呢？一个在计时器上运行的函数，它只执行一个副作用，并确保它只在一台机器上执行？我
浏览 20提问于2018-12-28得票数 0
回答已采纳
我想读取一个GZIP压缩的帕奎特文件从GCS到BigQuery使用Python SDK for Apache光束。但是，apache_beam.io.parquetio.ReadFromParquet方法似乎不支持从压缩文件中读取。根据源代码，压缩类型被硬编码为UNCOMPRESSED。有没有一个技巧来读取压缩的拼图文件，而不需要在GCS中预先解压缩文件？如果这是唯一的方法，有没有
浏览 2提问于2019-11-25得票数 0
假设我有一个存储在GCS存储桶中的shell脚本。有没有可能使用Apache光束执行它？如果是，那是怎么做的？我目前还没有尝试过任何东西，因为我在Apache Beam或Dataflow的文档中找不到任何这样的东西。所以我只想知道我必须采取什么方法。谢谢。
浏览 12提问于2017-08-24得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
