根据:“而且,视图只能引用具有相同数据集位置的其他表和视图。
但实际上,我可以创建这样的视图(例如,查询):
SELECT a.body
FROM [fh-bigquery:reddit_comments.2008] as a
inner JOIN flatten([bigquery-samples:playlists.playlists],tracks.data)
as b ON a.author=b.tracks.data.artist.name
然后像普通表一样在查询中引用此视图:
SELECT * FROM [flow-1202:alex_centre.test_v_501] LIM
有没有办法像对待BQ数据库一样对待BigQuery“外部连接”,这样就可以授权视图? 我有一个Cloud SQL DB,我正在通过BigQuery中的“外部连接”访问它。我有一个BigQuery数据集,其中包含一个视图,该视图本质上就是select * from external_db;。我希望限制对该视图和外部连接的访问,但我希望创建另一个具有诸如select field 1, field2 from view1(or external_db);等视图的数据集,以便可以授予其他人对该视图的读取访问权限。
我们是否可以在google云项目A中创建一个授权的bigquery视图,该视图的源数据存在于与python API不同的云项目B中。
我可以从BQ UI手动创建上述过程,但我希望自动创建大约800个身份验证的过程。来自python进程的视图。
我面临的问题是在给定时间,我只能调用单个bigquery服务凭据,因此每当我触发流程/代码时,我都会丢失源数据集或视图数据集凭据
from google.cloud import bigquery
import os
from config_files import config
from config_files import db2_table_c
我在我的BigQuery中保存了一个Saved。我想在这个视图上运行SQL查询。我们可以对表运行SQL查询,如下所示:
%%bq query
SELECT *
FROM tablename
WHERE condition
但是在运行相同的视图时,我得到了错误:
%%bq query
SELECT * FROM viewname
错误:
invalidQuery:不能在标准SQL查询中引用旧的SQL视图。
或
import google.datalab.bigquery as bq
c = bq.View.query(sql='SELECT * From viewname
问题:--我在BigQuery中有一个项目,其中存储了我的所有数据。在这个项目中,我创建了包含不同视图的多个数据集。现在,我想使用不同的服务帐户通过grafana查询包含不同视图的不同数据集(如果这很重要的话)。这些用户只应该能够查询视图(因此是特定的数据集)。
我尝试过的内容:在dataset级别授予了BigQuery用户、查看器或编辑器权限(我尝试了所有这些权限)(以及项目级别的BigQuery Meatadata )。当我查询视图时,我会收到以下错误:
User does not have bigquery.jobs.create permission in project xy。
问题
我试图使用Apache在BigQuery中查询一个视图。
视图可以访问它引用的所有数据集。Dataflow/GCE服务帐户可以访问视图,但不能访问其基础数据集(这不应该是问题)。
当我试图运行一个查询授权视图的作业时,会得到如下错误:
java.lang.RuntimeException: java.io.IOException: Unable to get table: test_13249, aborting after 9 retries.
at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl.executeWit
我在谷歌的BigQuery上加载较大的文件时遇到了一个问题。问题是,当我加载少于1000行的文件时,它加载没有任何错误,但当我加载超过10000行的文件时,我得到加载错误。
BigQuery error in load operation: Error processing job '......': Too many errors encountered.
任务是从Redshift导出数据并将其加载到BigQuery中。下面是我是如何完成这项工作的(步骤):
1. Using "Unload" command, I am exporting Redshift
我想知道如何通过改变数据门户的设置来保存BigQuery数据容量(Google工具/旧名称: data )。
原因是如果我不保存我的BigQuery数据容量,我就不能执行SQL或支付大量的费用。
我想知道使用的方法不是更改BigQuery设置(包含更改SQL代码),而是使用数据Protal设置。
因为数据门户中的仪表板继续使用BigQuery数据容量,所以即使我更改了SQL代码,也无法解决我的问题。
我的情况如下:
我的处境:
1.我在我的BigQuery环境中做了一个“视图”。
I tried to make the query not to use a lot of BigQuery da
我有一个大约200行的bigquery表,我需要通过一个web接口插入、delete和update值(该表不能迁移到任何其他关系或非关系数据库)。
web应用程序将部署在应用程序引擎上的google中,在Bigquery上充当管理和所有者特权的用户将能够创建和删除记录,而在bigquery中具有视图<code>E 217</code>权限的其他用户将只能在bigquery中<code>E 118<//code>视图<code>E 219</code>记录。
I am planning to use the scriptin