腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5969)
视频
沙龙
2
回答
阿帕奇
光束
到
BigQuery
、
、
、
、
我能够拆分消息,但我不确定如何将数据写入
BigQuery
。我已经尝试使用 ,但没有运气。(另外,如果代码中有一些太愚蠢的地方,请让我知道-我使用apache
光束
的时间很短,我可能忽略了一些明显的问题)。
浏览 102
提问于2021-02-23
得票数 1
回答已采纳
1
回答
Apache依赖关系错误
、
、
、
、
我编写了一个简单的类,它来自Google并深入
到
,但我无法让它为我的生命构建。我使用Maven构建并添加了我能找到的每一个束包,但是我仍然会得到“类文件未找到”错误。dependency> <artifactId>google-api-services-
bigquery
</artifactId> <version>${
bigq
浏览 0
提问于2018-02-12
得票数 2
回答已采纳
1
回答
到外部数据存储的Apache stores偏移量管理
、
、
、
我正在尝试阅读多个卡夫卡经纪人使用KafkaIO上的
阿帕奇
光束
。偏移量管理的默认选项是kafka分区本身(不再使用kafka >0.9的zookeper )。读完卡夫卡之后,我会把它写到
BigQuery
上。在将消息插入
到
BigQuery
之后,KafkaIO中是否有设置可以设置提交的消息?我现在只能找到自动提交设置。
浏览 9
提问于2017-12-24
得票数 0
2
回答
如何实现动态BigQueryIO输入
、
、
我正在使用谷歌数据流上的
阿帕奇
光束
。 我的流水线从
BigQuery
读取数据,但它依赖于执行参数。我应该能够用一个点(经度,纬度)和几个点来运行管道。我尝试在每个点上应用
BigQuery
read,并将结果合并到一个PCollection中,但我不知道如何将点传递
到
管道并动态构建它。
浏览 16
提问于2019-01-27
得票数 0
回答已采纳
3
回答
阿帕奇
光束
数据流
BigQuery
、
、
、
如何使用apache和DataflowRunner从Google
BigQuery
数据集中获取表的列表? 我找不到如何从指定的数据集中获取表。
浏览 0
提问于2018-07-16
得票数 0
2
回答
如何在apache beam数据流中将csv转换为字典
、
、
、
、
我想读取一个csv文件,并将其写入
到
BigQuery
使用
阿帕奇
光束
数据流。为此,我需要将数据以字典的形式呈现给
BigQuery
。如何使用apache beam转换数据以实现此目的?我的输入csv文件有两列,我想在
BigQuery
中创建一个后续的两列的表。我知道如何在
BigQuery
中创建数据,这很简单,我不知道的是如何将csv转换成字典。
浏览 1
提问于2016-12-16
得票数 9
回答已采纳
1
回答
如果我们可以直接使用Apache spark,为什么还要使用Apache beam spark runner?
、
、
我在读关于
阿帕奇
光束
的文章。在
阿帕奇
光束
中经历了各种跑步者。但我想知道,如果有人可以直接使用apache spark,为什么要使用带有spark runner的apache beam?
浏览 2
提问于2020-06-30
得票数 1
1
回答
数据流从主题PubSub读取并写入
Bigquery
(多个表)
、
、
、
我厌倦了在git (<code>C0</code>)中看到远程传送的例子,它伤害了我作为一个新手在
阿帕奇
光束
。顺便说一下,我需要做的是从Pubsub读取消息,并通过数据流作业写入
BigQuery
dataset中的不同目的地(表)。我有一个自定义项目,它非常适合
Bigquery
表,但Pubsub主题将包含来自同一数据集的多个目的地。此外,该消息是JSON格式的,并且包含一个带有目标表名称的字段。
浏览 15
提问于2020-03-18
得票数 2
1
回答
需要为初学者提供Apache_beam学习材料的建议
我需要学习一个项目的
阿帕奇
光束
。我已经阅读了Apache
光束
文档,但我认为这还不够。有没有人可以推荐学习Apache
光束
的资源?
浏览 10
提问于2017-07-04
得票数 0
回答已采纳
2
回答
Google Cloud Platform Data ETL批量处理:云函数数据流
、
、
、
数据模型有一个主函数,我可以调用它并获得一个数据帧作为输出,我打算将这个数据帧附加到一个
bigquery
表中。有没有什么办法,我可以只导入这个主函数,并使用apache (数据流)将其集成
到
管道中,而不必将数据模型重新编码为PTransform?或者,使用云调度程序和云函数来实现我想要的效果会更好吗?我是一个完全初学者与数据流和
阿帕奇
光束
,所以任何帮助或链接到指南将非常感谢!
浏览 0
提问于2019-08-21
得票数 0
1
回答
如何为apache
光束
管道配置spark runner for java
、
、
我是新手
阿帕奇
光束
和太空火花,我想配置火花流道的
光束
管道。文档中提到的内容我不清楚。
浏览 1
提问于2020-04-18
得票数 0
1
回答
如何使用
BigQuery
存储读取API定义Apache Beam中的最大流数
、
、
、
我想从
BigQuery
中读取数据并将其发布
到
Pubsub。为此,我想使用Apache
光束
,并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此,希望使用
BigQuery
的Storage Read API来减少这一时间,该API支持使用流读取数据。尽管Beam支持使用存储API,但我找不到设置最大流数的文档。谁能帮助我如何设置从
BigQuery
读取数据的Apache
光束
管道中的流的数量。 参考文献:BQ Storage API Overview,Apache Beam BQ
浏览 25
提问于2021-05-02
得票数 0
2
回答
我可以在原生python中使用google DataFlow吗?
、
、
、
还是有必要用
阿帕奇
光束
进行ETL? 我的管道的目标是从
BigQuery
读取数据,处理它,并将其重新保存到
bigquery
表中。
浏览 4
提问于2021-08-23
得票数 1
1
回答
将BigTable中的checkAndMutate (条件写入)与Apache Beam结合使用
、
、
、
我需要写记录到BigTable使用
阿帕奇
光束
。但是,如果表中已经存在特定的行键,则不能写入该记录。我可以在BigTable中使用条件写来做这件事吗?我在文档中没有找到与Apache
光束
相关的示例。
浏览 45
提问于2019-12-21
得票数 1
1
回答
数据摄取-使用并发进行大规模并行处理
、
、
、
是
阿帕奇
光束
,
阿帕奇
Nifi或
阿帕奇
骆驼或WSO2更好的选择。
浏览 2
提问于2018-07-30
得票数 0
1
回答
使用Google云数据流生成xml文件
、
、
这些表存储在云
BigQuery
上。我们为这些表创建自己的查询。是否可以使用Google生成xml文件?
浏览 1
提问于2017-11-03
得票数 0
回答已采纳
1
回答
光束
:每个窗口元素有窗口边界的书写
、
、
、
我想要做的就是打印每个窗口的计数,以及窗口的边界
到
BigQuery
。withoutDefaults())p.run().waitUntilFinish(); 我猜想
浏览 1
提问于2018-11-26
得票数 0
回答已采纳
1
回答
Apache beam支持并行排序吗?
、
、
你能告诉我我能不能用
阿帕奇
光束
实现并行排序?对于文档,Apache可以使用一台机器进行排序。有什么方法可以实现并行排序吗?
浏览 4
提问于2017-11-13
得票数 2
回答已采纳
1
回答
阿帕奇
光束
/闪烁ExceptionInChainedStubException
、
这不是关于我这次做错了什么的问题;而是如何-通常情况下-如何从
光束
或Flink中获得更多信息。
浏览 9
提问于2017-08-10
得票数 1
回答已采纳
1
回答
Apache beam
BigQuery
视图
、
在GCP
BigQuery
中,可以创建表的视图。文档在这里:https://cloud.google.com/
bigquery
/docs/views。我想知道是否有可能通过Apache
光束
在
BigQuery
中创建一个视图,如果可以,它不在文档https://beam.apache.org/documentation/io/built-in/google-
bigquery
浏览 9
提问于2021-08-20
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Google BigQuery新机器学习推理引擎支持外部自定义模型
BigQuery提供脚本存储程序,可在单一请求执行多个陈述式
谷歌将以太坊区块链数据集添加到其大数据分析平台
谷歌推出Bigtable联邦查询,实现零ETL数据分析
Google Cloud 发布 COVID-19 数据集,可构建 AI 模型来对抗疫情
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券