腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
使用
DataFlow
引擎
运行
bigquery
查询
时
,
如何
使用
自定义
函数
(
和
其他
函数
)?
google-bigquery
、
google-cloud-dataflow
、
user-defined-functions
我正在尝试
使用
云数据流
引擎
在
bigquery
中
运行
查询
。该
查询
使用
了用Javascript编写的
自定义
函数
(Levenshtein Distance)。
在
使用
ST_GeogPoint或ARRAY_AGG等
其他
函数
时
,我也
在
尝试同样的问题。 我得到了这个错误Function not found: ST_GeogP
浏览 11
提问于2020-10-29
得票数 1
回答已采纳
1
回答
数据流作业
在
多次
使用
分阶段模板部署
时
使用
相同的
BigQuery
作业ID?
java
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我正在尝试部署一个
Dataflow
作业,该作业从
BigQuery
读取并按固定计划写入Cassandra。模板代码是用Java编写的,
使用
Apache
和
Dataflow
库。我已经将模板放到上,并配置了一个Cloud实例以及用于触发
Dataflow
模板的云
函数
。我正在
使用
最新版本的所有束
和
BigQuery
依赖关系。但是,我发现当
使用
相同的阶段模板部署作业
时
,
BigQuery</
浏览 2
提问于2020-06-30
得票数 1
回答已采纳
1
回答
数据流用例(小型SQL
查询
)
google-cloud-platform
、
google-bigquery
、
google-cloud-functions
、
google-cloud-dataflow
我们
使用
云
函数
来转换
BigQuery
中的数据:--所有的数据都在
BigQuery
中--为了转换数据,我们只
在
BigQuery
中
使用
SQL
查询
--每个
查询
每天
运行
一次--我们最大的SQL
查询
运行
大约2到3分钟,但大多数
查询
的
运行
时间不到30秒--我们每天执行大约50个
查询
,而且这个数目还在增加。我们一开始尝试用
Datafl
浏览 5
提问于2020-06-19
得票数 1
回答已采纳
1
回答
基于sk-学习模型的大
查询
预测
machine-learning
、
google-cloud-platform
、
gcp-ai-platform-notebook
我
在
我的本地机器上创建了一个滑雪板模型。然后我就把它上传到google存储上了。我已经创建了一个模型
和
版本
在
人工智能平台上
使用
相同的模型。它正在为在线预测工作。现在,我希望执行批处理预测,并将数据存储到大
查询
中,比如每次执行预测时它都会更新大
查询
表。 有人能建议我怎么做吗?
浏览 1
提问于2019-07-15
得票数 0
回答已采纳
2
回答
如何
使
BigQuery
SQL管道自动化
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
我
使用
BigQuery
SQL创建了一个数据管道。首先从云存储中导入CSV文件,然后进行不同的分析,包括利用BigQueryML地理
函数
进行预测建模
和
利用解析
函数
进行KPI计算。我能够成功地手动
运行
不同的
查询
,现在我想要自动化数据管道。 我的第一个选择是
DataFlow
SQL,但事实证明
Dataflow
SQL
查询
语法不支持地理
函数
。
DataFlow
python不是一种选择,因
浏览 3
提问于2020-04-21
得票数 2
回答已采纳
1
回答
DataFlow
工作者
BigQuery
权限错误
google-cloud-platform
、
google-cloud-dataflow
我一直试图
在
我的项目中执行
Dataflow
管道(Python),其中我的GCP帐户分配了"Owner“角色。 从
BigQuery
(数据流管道
运行
的同一项目)读取数据。根据我的理解,
Dataflow
工作者
使用
默认的计算
引擎
服务account(-compute@developer.gserviceaccount.com)访问GCP上的
其他
服务,包括
BigQuery
和
-compute但是
浏览 1
提问于2021-08-20
得票数 0
1
回答
我能
使用
BigQuery
和
的相同编程语言吗?
google-bigquery
、
google-cloud-dataflow
我希望
在
两种不同的技术中
使用
相同的
函数
来解析事件: Goolge
和
DataFlow
。有我能用的语言吗?如果不是,谷歌是否计划在短期内支持一家公司?背景:这种解析有些很复杂(例如,应用
自定义
的URL提取规则,从用户代理中提取信息),但在计算上并不昂贵,而且不涉及将事件加入到任何
其他
大型查找表中。因为解析可能很复杂,所以我只想用一种语言编写解析逻辑,并在需要的地方
运行
它:有时
在
BigQuery
中,有时在
其他</e
浏览 0
提问于2018-06-12
得票数 0
1
回答
将表从
BigQuery
导出到GCS的最佳方法
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
google-cloud-composer
我有一些关于Composer
和
BigQuery
的问题。我们需要导入并创建一个自动流程,以便将表从
BigQuery
导出到存储。我现在有四个选择:
bigquery
_to_gcs OperatorBashOperator:执行Cloud
在
Composer.Python
函数
上提供的"bq“命令:
使用
BigQuery
API创建
BigQuery
函数
,几乎与
bigquery
_to_gcs相同,并<e
浏览 2
提问于2019-09-30
得票数 0
回答已采纳
1
回答
在
GCP数据流作业中
使用
或REPLACE模型
google-cloud-platform
、
google-cloud-dataflow
因此,我试图
在
BigQuery
表上
使用
GCP模型,并且需要定期更新该模型,并针对新的数据集
运行
它。我
使用
Dataflow
对数据进行预处理,并想知道是否也可以
使用
它来创建模型。当我尝试
使用
在
BigQuery
中测试的Create
时
,会弹出以下错误: 我是做错了什么,还是模型创建不支持
Dataflow
?
浏览 12
提问于2022-01-12
得票数 1
回答已采纳
3
回答
无法写入
bigquery
-权限被拒绝: Google
python
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我
使用
使用
google云数据流服务已经有一段时间了。数据流管道 apache_beam.runners.
dataflow
.
dataflow
_
浏览 0
提问于2018-05-07
得票数 4
1
回答
谷歌云数据流服务帐户没有传播给工人?
java
、
google-bigquery
、
google-cloud-dataflow
我们有多个作业(用Java /Kotlin编写),它们可以以两种不同的方式
运行
: 当从用户帐户
运行
数据流作业
时
,
Dataflow
当从服务帐户
运行
Dataflow
作业
时
,我设想
使用
设置的服务帐户将被传播到
Dataflow
在后台
使用
的辅助VM。没有提到任何这一点,但是他们确实提到了凭据用于对GCP服务进行身份
浏览 0
提问于2018-12-05
得票数 3
1
回答
在数据流python中在
运行
时向“beam.io.BigQuerySource”提供“
查询
”参数
google-cloud-dataflow
、
apache-beam
、
apache-beam-io
TLDR:我希望每个月
使用
dataflow
API
和
模板
使用
不同的
查询
运行
beam.io.BigQuerySource。如果这是不可能的,那么我可以在
运行
时将
查询
传递给beam.io.BigQuerySource,同时仍然
使用
Dataflow
API
和
模板吗?我想
使用
Dataflow
API来自动化这个批处理管道的
运行
,
使用
云<
浏览 1
提问于2020-06-29
得票数 1
回答已采纳
1
回答
在上调试来自
BigQuery
的慢速读取
google-cloud-dataflow
、
apache-beam
背景:我们有一个非常简单的管道,它从
BigQuery
(通常是300 to )过滤器/转换中读取一些数据,并将其放回
BigQuery
。
在
99%的情况下,该管道
在
7-10分钟内完成,然后重新启动以处理新的批处理。是否有人就
如何
处理此类案件的调试提出
浏览 0
提问于2018-01-26
得票数 1
回答已采纳
1
回答
数据流上的Apache总线不接受ValueProvider进行
BigQuery
查询
java
、
google-cloud-platform
、
google-bigquery
、
apache-beam
目标预期行为我传入的
运行
浏览 1
提问于2020-02-20
得票数 1
2
回答
使用
Google生态系统与构建您自己的微服务体系结构
google-bigquery
、
google-cloud-storage
、
microservices
、
google-cloud-dataflow
在
Google生态系统中构建是非常强大的。我非常喜欢您
如何
将文件摄取到Cloud,然后数据流丰富、转换
和
聚合数据,然后最终存储
在
BigQuery
或Cloud中。 当前端web应用程序(可能是内置于React中)向云存储提交文件
时
,可能需要一段时间才能完全处理。客户端可能希望查看管道中文件的状态。前端客户端是
如何
知道文件何时已经完成、处理
和
准备的?他们
浏览 0
提问于2018-05-11
得票数 1
1
回答
正在尝试
在
美国中央1区域
运行
数据流作业,但源
和
目标
在
亚洲-南部1
google-bigquery
、
google-cloud-functions
、
google-cloud-dataflow
import job "
dataflow
_job_15712075439082970546-B" failed.,
BigQuery
job "
dataflow
_job_15712075439082970546asia-south1, error: Cannot read and write in different locations: source: US, destination: asia-south1 这是我尝试
使用
云
函数
触发器
运行
代码
时<
浏览 12
提问于2021-03-12
得票数 0
回答已采纳
2
回答
只
在
大
查询
作业完成后触发数据流的方法
google-cloud-platform
、
google-bigquery
、
google-cloud-functions
、
google-cloud-dataflow
实际上,对我的数据执行以下步骤:我知道Google
函数
的
BigQuery
α触发器,但我 不知道是不是一个好主意,从我看到的这个触发器
使用
的是作业id,根据我所看到的,这个id是不能修复的,而且每当
运行</
浏览 0
提问于2019-11-21
得票数 2
回答已采纳
3
回答
通过
DataFlow
将云存储存储到
BigQuery
(upsert)
google-bigquery
、
google-cloud-functions
、
google-cloud-dataflow
当一个文件被写入云存储
时
,我希望它触发一个云
函数
,该
函数
执行一个
DataFlow
模板来转换文件内容并将结果写入
BigQuery
。然后我想..。好的,如果我可以捕获
DataFlow</e
浏览 2
提问于2020-02-05
得票数 2
3
回答
如何
在数据流作业成功后执行云功能?
google-cloud-platform
、
google-cloud-functions
、
google-cloud-dataflow
、
dataflow
只有当数据流作业执行成功完成
时
,我才想触发云
函数
。我
使用
数据流模板(jdbc到
BigQuery
)从
Dataflow
UI
运行
数据流作业。作业执行后,没有任何选项触发任何云
函数
或
其他
东西。另外,我不能修改模板代码。触发云功能的方法是什么?
浏览 4
提问于2020-11-25
得票数 0
回答已采纳
1
回答
一种数据流作业中
BigQuery
的读写
python
、
google-bigquery
、
google-cloud-dataflow
在为
Dataflow
构建管道
时
,我遇到了一个看似简单的问题。我有多个管道,可以从外部源获取数据,转换数据并将其写入多个
BigQuery
表。当这个过程完成后,我想
运行
一个
查询
来
查询
刚刚生成的表。这是
使用
Dataflow
的方式吗?还是应该将对
BigQuery
的加载
和
表的
查询
划分为两个作业?如果在同一项工作中这是可能的,那么
如何
解决这个问题,因为BigQuerySink不生成PColle
浏览 2
提问于2017-05-11
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何用纯SQL查询语句可以实现神经网络?
如何用纯SQL查询语句实现神经网络
使用Java部署训练好的Keras深度学习模型
分析GitHub:最流行的许可证是什么?
Google BigQuery新机器学习推理引擎支持外部自定义模型
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券