腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7113)
视频
沙龙
1
回答
如何
使用
BigQuery
存储
读取
API
定义
Apache
Beam
中
的
最
大流
数
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我想从
BigQuery
中
读取
数据并将其发布到Pubsub。为此,我想
使用
Apache
光束,并在数据流
中
运行此管道。而且我
的
BQ查询需要很长时间才能执行。因此,希望
使用
BigQuery
的
Storage Read
API
来减少这一时间,该
API
支持
使用
流
读取
数据。尽管
Beam
支持
使用
存储
A
浏览 25
提问于2021-05-02
得票数 0
2
回答
如何
将SCollection元素保存到不同
的
BigQuery
表
中
?
google-cloud-dataflow
、
apache-beam
、
spotify-scio
我需要根据SCollection元素
的
时间戳将它们保存到不同
的
每小时
BigQuery
表
中
。我试过以下方法- 按(TableName, Iterable[TableRow])对元素进行分组,然后
使用
BigQueryClient实例将每个Iterable[TableRow]保存到各自
的
表
中
。创建一个SCollection[TableName, PCollection[TableRow]],然后
使用
BigQueryIO.Write将每个PCollecti
浏览 0
提问于2017-06-19
得票数 0
3
回答
显示RuntimeException
的
Apache
Beam
-
Bigquery
流插入: ManagedChannel分配站点
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我在Google Dataflow
中
运行了一个
Apache
beam
流水线。它从Kafka
中
读取
数据并将其流式插入到
Bigquery
。(BigQueryServicesImpl.java:1255)at org.
apache
浏览 7
提问于2021-06-01
得票数 5
1
回答
bigquery
.readsession可以对
BIGQUERY
数据集做什么?
google-bigquery
、
gcloud
、
google-iam
我不理解
BigQuery
Read Session User
的
权限。我想知道我是否被指派了这个角色。我可以通过python查询
Bigquery
中
的
数据集吗? from google.cloud import
bigquery
project_id = 'Project_
浏览 17
提问于2022-11-30
得票数 0
1
回答
在TableRow
Apache
梁
中
访问
BigQuery
列
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我在试着2.每15分钟
使用
文件加载将事件从Cloud /Sub加载到
BigQuery
,以节省流插入
的
成本。3.目标将根据JSON事件
中
的
"user_id“和"campaign_id”字段而不同,"user_id“将是数据集名称,"campaign_id”将是表名。分区名称来自事件时间戳。4.所有表
的
架构保持不变。 我对Java和
Beam
很陌生
浏览 0
提问于2018-04-17
得票数 0
回答已采纳
1
回答
Apache
Beam
Python
读取
.tgz并解析为
BigQuery
python
、
google-cloud-dataflow
、
apache-beam
它驻留在Google云
存储
中
。在.tgz内部是一系列|分隔
的
.txt文件。例如,这10个文件
中
的
一个可以命名为这就是我到目前为止
浏览 0
提问于2018-12-13
得票数 0
3
回答
使用
Google Big Query进行弹性搜索
elasticsearch
、
google-bigquery
我将事件日志加载到elasticsearch引擎
中
,并
使用
Kibana将其可视化。我
的
事件日志实际上
存储
在Google Big Query表
中
。目前,我正在将json文件转储到Google
存储
桶
中
,并将其下载到本地驱动器。然后
使用
logstash将json文件从本地驱动器移动到elastic搜索引擎。根据我所读到
的
,我了解到有一个输出连接器,它将来自elastic search
的
数据发送到Google大查询,但反之亦
浏览 4
提问于2016-08-31
得票数 7
2
回答
GCP:设置从扳手到大查询
的
周期性数据管道
的
最佳选择是什么?
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
google-cloud-spanner
任务:我们必须设置从扳手到大查询
的
记录
的
定期同步。我们
的
扳手数据库有一个关系表层次结构。 问题:请建
浏览 4
提问于2019-05-28
得票数 1
回答已采纳
1
回答
Google流插入到
BigQuery
命中率限制
python
、
google-cloud-dataflow
、
apache-beam
我试图
使用
数据流流处理将记录插入到
BigQuery
中
。
存储
桶
中
更改
的
文件从PubSub
读取
,然后
读取
、转换并插入到
BigQuery
中
。但是,我不明白为什么我会看到关于这些配额
的
消息,因为
BigQuery
的
流插入配额是100万/秒。usageLimits", "reason": "rateLimitE
浏览 29
提问于2020-02-25
得票数 3
2
回答
如何
在数据流
中
从google
中
读取
csv文件,并结合,对数据流
中
的
数据进行转换,然后将其转储到
bigquery
中
?
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
我必须在python
中
编写一个Dataflow作业,它将从GCS
读取
两个不同
的
.csv文件,执行一个连接操作,对连接数据
的
结果执行转换,然后最后将其发送到
BigQuery
表?我对此非常陌生,我知道在经过大量
的
研发之后,我们可以从
apache
.
beam
完成所有的流水线操作,我终于找到了一个模板,但在给定
的
点上仍然有很多
的
混乱。是桶
的
名字,还是
存储
路径?
如何</e
浏览 1
提问于2020-06-21
得票数 4
2
回答
如何
在
apache
beam
数据流中将csv转换为字典
python
、
csv
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我想
读取
一个csv文件,并将其写入到
BigQuery
使用
阿帕奇光束数据流。为此,我需要将数据以字典
的
形式呈现给
BigQuery
。
如何
使用
apache
beam
转换数据以实现此目的?我
的
输入csv文件有两列,我想在
BigQuery
中
创建一个后续
的
两列
的
表。我知道
如何
在
BigQuery
中
创建数据,
浏览 1
提问于2016-12-16
得票数 9
回答已采纳
2
回答
使用
自
定义
参数从BigQuerySource
读取
失败,并显示“找不到所需
的
参数serialized_source”
python
、
google-cloud-dataflow
、
apache-beam
我正在
使用
一个自
定义
的
worker_harness_container_image (和experiment=
beam
_fn_
api
)在数据流上尝试一个非常简单
的
管道: main.py importargparsefrom
apache
_
beam
.options.pipeline_options import PipelineOptions,(
浏览 30
提问于2020-01-21
得票数 0
2
回答
如何
使用
数据流运行器将hyperLogLog字段从ApacheBeam保存到
BigQuery
java
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
、
hyperloglog
我需要将所有草图从ApacheBeam保存到
BigQuery
中
。但是我找不到一种方法将素描本身保存到
BigQuery
。为了能够稍后通过时间滑动将其与合并函数和其他函数一起
使用
:请参阅此 .apply("hll-count", Combine.perKey(ApproximateDistinct.ApproximateDistinctFntableRow.se
浏览 8
提问于2019-04-04
得票数 0
1
回答
数据流:用python管道更新
BigQuery
行
python
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
想象一下一个简单
的
管道。在这个管道
中
,您可以
使用
apache
函数从BQ
读取
数据,并根据返回
的
pcollection来更新这些行。('table', TABLE_SCHEMA_CANONICAL)) 这个管道
的
问题是,在
读取
表( UpdateBQ )时,会对返回
的
pcollection
中
的
每个项执行
beam
.Map。可以更好地执行对
BigQuery</em
浏览 1
提问于2018-12-05
得票数 1
回答已采纳
1
回答
Bigquery
加载JSON错误“无法将值转换为字符串”
json
、
google-bigquery
、
google-cloud-storage
我正在尝试将JSON事件数据从加载到
BigQuery
,并且希望以字符串
的
形式加载所有数据,然后再进行转换,因为对于某些消息,它们看起来如下所示:{"id":234} --schema=$SCHEMA \ $INPUT故障详细信息: 在
读取
数据时出错行: 2;错误: 1;最大错误
浏览 2
提问于2020-11-24
得票数 3
2
回答
更改谷歌云数据流
BigQuery
优先级
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我有一个运行在从
BigQuery
读取
数据
的
谷歌云DataFlow上
的
Beam
作业。当我运行作业时,作业需要几分钟时间才能开始从(微型)表
中
读取
数据。结果是数据流作业发送
的
是以批处理模式运行而不是以交互模式运行
的
BigQuery
作业。
如何
将其切换为在
Apache
光束中立即运行?我在
API
中
找不到更改优先级
的
方法。
浏览 2
提问于2017-05-26
得票数 1
1
回答
从GCS
读取
输入和模式作为运行时参数
的
数据流模板
python
、
google-cloud-dataflow
、
apache-beam
我正在尝试创建一个带有3个运行时参数
的
自
定义
数据流模板。来自gcs和
bigquery
数据链接表
的
输入文件和架构文件位置。输入文件似乎可以
使用
beam
.io.textio.ReadFromText方法正确
读取
。但是,我需要提供模式文件(而不是通过从gcs
读取
来在模板
中
对其进行硬编码。当gcs位置作为运行时参数提供时,
如何
将该位置作为字符串
读取
(知道在推送Dataflow模板时,运行时参数上
的<
浏览 2
提问于2019-08-07
得票数 1
1
回答
Apache
:在PCollection
中
读取
管道
的
PBegin
google-cloud-dataflow
、
apache-beam
、
apache-beam-io
我正在调试这个束管道,我
的
最终目标是将PCollection
中
的
所有字符串写入一个文本文件。在我想要检查
的
PCollection创建之后,我已经设置了一个断点,我一直在尝试创建一个新
的
管道,
浏览 2
提问于2020-03-18
得票数 0
回答已采纳
1
回答
java jdbctobigquery管道
java
、
google-cloud-platform
、
pipeline
、
dataflow
我正在创建一个从jave jdbc到
bigquery
的
管道,但是我想添加一个额外
的
步骤来检查某一列
中
的
值是否满足大于4个字符
的
标准。我将
使用
什么方法?下面是我
的
代码,它
读取
jdbc,转换为tablerow,并将tablerow附加到现有的
bigquery
表
中
。import com.google.
api
.services.
bigquery
.model.TableRo
浏览 13
提问于2021-07-22
得票数 0
2
回答
无法在数据流
中
从GCS
读取
我
的
配置文本文件(列名)
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
在GCS
中
,我有一个源CSV文件(没有头)以及头配置CSV文件(只包含列名)。我在
Bigquery
中
还有静态表。我希望通过
使用
列头映射(config文件)将源文件加载到静态表
中
。之前我尝试了不同
的
方法(我是维护源文件,其中包含头和数据在同一个文件
中
,然后尝试从源文件中分割头,然后
使用
头列映射将这些数据插入
Bigquery
。我注意到这种方法是不可能
的
,因为数据流将数据洗牌到多个工作节点。所以我放弃了这种方法。 下面的代
浏览 0
提问于2018-06-22
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
KSQL:Apache Kafka的开源Streaming SQL引擎
想成为大数据开发工程师,你必须掌握的开发流程图是这样的
过去一年,Spotify最大一次数据流优化实践
Apache Flink 1.10.0 重磅发布,年度最大规模版本升级
Spark Streaming 中管理 Kafka Offsets 的几种方式
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券