1回答
是否有可能使用当前版本的Apache光束来开发一个接收HTTP消息中的数据的无限源？我的意图是运行一个HTTP服务器，并将接收到的消息注入到光束管道中。如果可能的话，可以用现有的源代码来完成吗？
浏览 27提问于2021-04-16得票数 1
我目前正在使用Apache Beam和Google Dataflow来处理实时数据。数据来自Google PubSub，它是无界的，所以目前我使用的是流水线。
浏览 21提问于2017-12-14得票数 3
我有一个year/month/day/hour/*类型的文件夹结构，我希望光束按时间顺序将它作为一个无界源来读取。具体来说，这意味着在记录的第一个小时内读取所有文件并添加其内容以进行处理。用apache能做到这一点吗？
浏览 2提问于2019-06-05得票数 2
回答已采纳
1回答
我们正在为Apache管道构建一个集成测试，并且遇到了一些问题。见下面的上下文..。有关我们管道的详细信息：
中间转换包括自定义CombineFn和非常简单的窗口/触发策略。
浏览 1提问于2017-06-23得票数 10
回答已采纳
出于这个原因，我浏览了Apache Beam文档https://beam.apache.org/documentation/pipelines/design-your-pipeline/，但这里显示的是我不懂JAVA，我想用Python来写。有没有人可以分享Python代码文档的链接？
浏览 29提问于2020-04-24得票数 1
__ror__(pvalueish, self.label) File "/usr/local/lib/python3.7/site-packages/apache_beam/runners&#
浏览 57提问于2020-01-28得票数 5
在Python版本的JdbcIO中，WriteToJdbc有一个" statement“参数，该参数用于覆盖生成的insert语句。它似乎完全不起作用。
浏览 22提问于2021-03-25得票数 0
import apache_beam as beam |beam.Map(print)当我运行上面的代码时，出现了以下错误：
ERROR:apache_beam.utils.subprocess_server:Starting job service with ['java', '
浏览 1提问于2021-07-14得票数 0
1回答
我正在尝试理解apache是如何工作的，我不太确定我是否这样做了。所以，我希望有人告诉我我的理解是否正确：
Beam是大数据框架的抽象层，如spark、hadoop、google等。现在几乎所有的功能都是这样的，但几乎就是Beam以两种形式处理数据的情况--有界和无界。像.csv一样有界，像卡夫卡的订阅一样无界。不同的i/o读取方法是不同的。对于无界数据，我们需要实现窗口(将时间戳附加到每个数据点)和触发器(时间戳)。这里的批处理将是窗口中的所有数据点，直到触发器被击中为止。然而，对于有界数据集，所有数据集都加载
浏览 5提问于2020-04-12得票数 2
1回答
所以，我才刚刚开始使用Apache光束。我计划在GCP中运行DataFlow作业，我最初是用DataPrep运行它们，但很快就超出了它的功能。注意，我已经用Python2/3编程两年了，所以我想我已经从新手变成了业余爱好者，只是为了引起你的注意。这就是我的问题所在，我在IDE中成功地编写了一些AB代码(版本2.6)。也就是说，它只是说"PCollection Object at 0xf3a6...“
当我疯狂地搜索的时候，我看到另一个人发了这个帖子，他们说你应该使用"with“语句，这样Python</
浏览 2提问于2018-08-26得票数 0
我想知道是否有可能有一个自定义的阿帕奇光束Python版本运行在谷歌数据流。在公共存储库中不可用的版本(在撰写本文时: 0.6.0和2.0.0)。但我还没有设法得到当前的Apache光束开发版本(或标记的版本)，该版本可在其官方存储库的主分支中获得，以便打包并将我的脚本发送到Google Dataflow。=sdks/python我得到如下内容：
INFO:root:Executing command: ['.../bin/python'
浏览 16提问于2017-07-27得票数 4
回答已采纳
我正在使用Python中的Apache光束构建一个管道，并且我需要避免在Google Cloud Storage中写入文件时出现竞争条件。有没有人知道有没有办法用Python或Apache Beam Python SDK来完成同样的事情？
浏览 2提问于2018-08-31得票数 0
1回答
From GCS' >> beam.io.textio.ReadFromText('gs://my-ldif.ldiff', delimiter='\r\n')
) 但是看起来在python我在java中看到了这一点，有人能说出python是否支持分隔符吗？
浏览 13提问于2021-09-09得票数 0
回答已采纳
我正在尝试在Python上学习apache beam，但我的示例都不起作用。import apache_beam as beam File "C:\ProgramData\Anaconda3\lib\site-packages\apache_beam\pipeline.py", line_opti
浏览 0提问于2020-02-04得票数 0
1回答
Please reach out to the Dataflow team at http://stackoverflow.com/questions/tagged/google-cloud-dataflow编辑:在从2.0.0更新到用于Python 2.1.1的Apache光束SDK后，问题似乎已经消失(至少现在是这样)。
浏览 0提问于2017-09-26得票数 2
我想生成一个无界的行集合，并使用Apache Beam Calcite SQL方言和Apache Flink运行器对其运行一个SQL查询。基于Apache Beam的源代码和文档，您可以使用表提供程序：GenerateSequenceTableProvider来做类似的事情。但是我不知道如何在Beam SQL CLI之外使用它。基本上，如果我想要对应该使用的表执行查询(我想是这样的)，如何使用光束SQL表提供程序呢？来生成？
浏览 46提问于2020-12-06得票数 0
回答已采纳
我正在部署一个模型，并考虑使用Apache-beam的python API来运行特征处理任务。文档非常庞大和复杂，但我经历了大部分，甚至建立了一个小的工作管道，仍然不清楚这是否是适合我的工具。===>我不能理解的是，apache是否可以每5分钟运行一次此管道，读取生成的任何新输入数据，并更新上次运行的计数。如果是这样的话，有人能给我指个方向吗？ 谢谢!
浏览 25提问于2020-06-11得票数 0
背景:我正在使用TFX管道，并使用Flink作为光束的运行器(使用flink-on-K8s-operator的flink会话集群)。此外，行为会影响任何使用apache_beam.io.iobase.SDFBoundedSourceReader的东西，例如apache_beam.io.parquetio.ReadFromParquet
浏览 18提问于2021-09-20得票数 0
回答已采纳
我试图在本地机器上使用Python运行apache程序。我创建并激活了python虚拟环境，并使用pip安装了apache。当我使用下面的命令触发代码时，它会给出attribute error并说：
python我在试着学习阿帕奇光束p=beam.Pipeline()
l
浏览 0提问于2019-08-08得票数 0
回答已采纳
我已经使用Apache光束为Google Cloud Dataflow创建了一个管道，但我不能在本地拥有Python依赖项。但是，远程安装这些依赖项是没有问题的。在我的本地(开发)环境中，有没有可能在不执行Python代码的情况下运行作业或创建模板？
浏览 1提问于2019-09-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
