如何在Google BigQuery SQL中检查多个模式？(如+ IN)
在Google BigQuery SQL中，要检查某个字段的值是否在多个模式中，可以使用REGEXP_CONTAINS函数结合正则表达式
SELECT column_name
FROM your_table
WHERE REGEXP_CONTAINS(column_name, r'pattern1|pattern2|pattern3');这里的pattern1、pattern2和pattern3是要检查的模式。|符号表示“或”，用来连接多个模式。
举个例子，假设你想检查your_table表中的column_name字段是否包含abc、def或ghi这三个模式中的任意一个，可以使用以下查询：
SELECT column_name
FROM your_table
WHERE REGEXP_CONTAINS(column_name, r'abc|def|ghi');这将返回所有满足条件的column_name字段的值。
相关·内容
我在我的BigQuery中保存了一个Saved。我想在这个视图上运行SQL查询。我们可以对表运行SQL查询，如下所示：
%%bq query
SELECT *
FROM tablename
WHERE condition
但是在运行相同的视图时，我得到了错误：
%%bq query
SELECT * FROM viewname
错误：
invalidQuery:不能在标准SQL查询中引用旧的SQL视图。
或
import google.datalab.bigquery as bq
c = bq.View.query(sql='SELECT * From viewname
浏览 0提问于2018-05-10得票数 0
回答已采纳
我已经为我的bigquery项目创建了一个client id和client secret，但是我不知道如何使用它们来成功地将数据从pyspark脚本保存到bigquery表中。下面的python代码将导致以下错误。是否有一种方法可以使用上的保存选项连接到BigQuery？
代码
df.write \
.format("bigquery") \
.option("client_id", "<MY_CLIENT_ID>") \
.option("client_secret", "<MY_CLIEN
浏览 6提问于2019-12-06得票数 4
回答已采纳
我正在尝试从用户管理的朱庇特笔记本实例中读取一些BigQuery数据(ID：my-project.mydatabase.mytable原始名称受保护)，在工作台中。我尝试的是中的灵感，更具体地说，代码是(请阅读一些关于代码本身的附加注释)：
from pyspark.sql import SparkSession
from pyspark.sql.functions import udf, col
from pyspark.sql.types import IntegerType, ArrayType, StringType
from google.cloud import bigquery
浏览 15提问于2022-08-09得票数 1
回答已采纳
我的工作是创建数据管道，它从各种常规数据库和CSV文件中提取数据，.It将使用pyspark进行预处理，然后将结果数据写入BigQuery表。
我已经将jar文件gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.23.1.jar复制到$SPARK_HOME/jars文件夹中，并且在创建spark对象时已经在spark.jars.packages中指定了相同的内容。
请给出一些建议，因为我能找到的所有博客都是以DataProc为例。
spark = SparkSession. \
builder. \
浏览 7提问于2021-12-15得票数 1
回答已采纳
我试着用下面的方法读取GBQ表，
from pyspark.sql.functions import col, current_timestamp
def analyze(spark, config, query = None):
df = spark.read \
.format("bigquery") \
.load("projectName.dataset.tablename")
resultDf = df \
.filter(col('colName')=='
浏览 7提问于2022-06-07得票数 3
1回答
我正在尝试从BigQuery中获取数据。当我获取小数据时，一切都很好，但是当我尝试获取大数据时，它将永远持续。有有效的方法吗？
到目前为止，我使用的是：
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'cred.json'
import google.auth
from google.cloud import bigquery
%load_ext google.cloud.bigquery
import google.datalab.bigquery as bq
from google.cl
浏览 3提问于2020-01-15得票数 2
回答已采纳
我正在编写一个python脚本，该脚本将查询结果写入BQ表。在第一次运行脚本之后，它总是在运行之后出现以下错误：google.api_core.exceptions.Conflict: 409 Already Exists: Table project-id.dataset-id。我不明白为什么每次运行脚本时它都试图创建一个表。我是否指定了任何特定参数？
这是来自google的文档。我用它作为一个例子，并且已经创建了一个当前的表。在哪里阻止api创建相同的表？
from google.cloud import bigquery
# TODO(developer): Construct a B
浏览 14提问于2020-03-24得票数 2
回答已采纳
我尝试在SQL中使用CONCAT with +符号，但是我没有得到正确的语法来执行这个查询。我使用的工具是Google BigQuery。
浏览 3提问于2022-09-02得票数 1
我们有一个sql脚本，并希望在bigquery中使用BQ客户端从apache气流中执行它。我们正在使用python函数生成sql脚本。在运行此脚本时，如果有任何问题，请忽略它，只运行成功/有效语句。有可能吗？
from google.cloud import bigquery
client = bigquery.Client()
script_t="""insert into table1 select col1 from db.tab2;
insert into table1 select col2 from db.tab3;"""
res
浏览 5提问于2021-12-24得票数 1
我想在我们的项目中使用google java api‘com.google.cloud: BigQuery -cloud-bigquery’。我正在创建这样的服务实例 BigQuery bq =
BigQueryOptions.newBuilder()
.setCredentials(credentials)
.build()
.getService(); 我是否应该将此com.google.cloud.bigquery.BigQuery实例存储在应用程序中的某个位置，并在每次调用时重用它？它是线程安全的
浏览 16提问于2019-02-27得票数 0
回答已采纳
作业声明：
job, err := bqClient.Jobs.Insert(_PROJECT_ID_, &bigquery.Job{
Configuration: &bigquery.JobConfiguration{
Query: &bigquery.JobConfigurationQuery{
UseLegacySql: false,
CreateDisposition: "CREATE_IF_NEEDED",
Query:
浏览 23提问于2017-07-19得票数 0
回答已采纳
我正在处理datalab，但是当我试图查询bigquery中的表时，会得到以下错误：
异常:无效:读取表时出错：.错误消息:读取电子表格失败。错误:没有找到带有Google作用域的OAuth令牌。
这种情况只发生在与google驱动器表链接的表中。
现在，在gcp中启用google驱动器应用程序。
from google.cloud import bigquery
client = bigquery.Client()
sql = """
SELECT * FROM `proyect-xxxx.set_xxx.table_x` LIMIT 1000
"&
浏览 1提问于2019-04-19得票数 0
当执行"DBT run“时，我会得到以下错误
{{ config(materialized='table') }}
SELECT customer_id FROM `hello-data-pipeline.adwords.google_ads_campaign_stats`
我要确保我的原处包含三个部分
一个项目(hello-data-管道)
数据库(adwords)
表(google_ads_campaign_stats)
但是我得到了以下错误
15:41:51 | 2 of 3 START table model staging_benjam
浏览 20提问于2020-04-11得票数 0
回答已采纳
我想自动将数据从外部PostgreSQL数据库传输到我的GCP帐户中的Google Cloud Platform BigQuery数据库。到目前为止，我已经看到可以使用EXTERNAL_QUERY()函数查询外部数据库(MySQL或PostgreSQL)，例如：https://cloud.google.com/bigquery/docs/cloud-sql-federated-queries ? 但要实现这一点，数据库必须位于GCP Cloud SQL中。我试图查看从外部PostgreSQL流到Cloud SQL PostgreSQL数据库有哪些选项，但我只能找到有关以一次性副本复制
浏览 26提问于2021-04-01得票数 2
1回答
上下文
我们的集装箱集群位于@us-east1 1-c。
我们正在使用以下Java库:google bigquery，0.9.2-beta
我们的数据集大约有2600万行，表示~10G。
我们的所有查询都返回少于100行，因为我们总是在特定列上分组。
问题
我们分析了在BigQuery中执行的最后100个查询，这些查询都是在2-3秒内执行的(我们通过调用bq -format=prettyjson显示-j JOBID，结束时间创建时间来分析这一点)。
然而，在我们的Java日志中，大多数对bigquery.query的调用都阻塞了5-6秒(10秒不是很平常的事情)。如何解
浏览 1提问于2017-04-14得票数 3
当将数据从Google bigquery表导出到Python中的Google云存储时，我会得到以下错误：
访问被拒绝: BigQuery BigQuery:写入数据时被拒绝的权限。
我检查了JSON密钥文件，它链接到存储的所有者。我能做什么?
浏览 0提问于2017-06-11得票数 2
3回答
背景：
我在谷歌云BigQuery中拥有大量的数据(1500 of )。
我正在尝试构建一个ML模型，使用这些数据作为训练数据集。因此，我在木星笔记本中编写了下面的代码来获取数据集。
import pandas as pd
from google.cloud import bigquery
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = './my_credential.json'
client = bigquery.Client()
sql = """
SE
浏览 0提问于2019-08-14得票数 0
我已经在bigquery中创建了一个模式和一个表，同时在GCP VM中配置jupyter notebook中访问该表的sql结果时，得到了"Request had authentication scopes“。 import pandas as pd
from google.cloud import bigquery
client = bigquery.Client()
sql = """ SELECT * FROM odsdata.food_data """
df = client.query(sql).to_dataframe(
浏览 11提问于2020-01-29得票数 0
我正在尝试使用java中的spark连接到Google big query，但我无法找到相同的准确文档。 我试过了：https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example 和 https://github.com/GoogleCloudPlatform/spark-bigquery-connector#compiling-against-the-connector 我的代码： sparkSession.conf().set("credentialsFile", "
浏览 219提问于2019-12-05得票数 2
我想知道如何通过改变数据门户的设置来保存BigQuery数据容量(Google工具/旧名称: data )。
原因是如果我不保存我的BigQuery数据容量，我就不能执行SQL或支付大量的费用。
我想知道使用的方法不是更改BigQuery设置(包含更改SQL代码)，而是使用数据Protal设置。
因为数据门户中的仪表板继续使用BigQuery数据容量，所以即使我更改了SQL代码，也无法解决我的问题。
我的情况如下：
我的处境：
1.我在我的BigQuery环境中做了一个“视图”。
I tried to make the query not to use a lot of BigQuery da
浏览 0提问于2019-07-09得票数 0
在这段代码中，我尝试在一个不存在的表上运行一个select，getJobReference()返回NULL，我很想捕捉这种错误，并希望得到一些错误消息。
当发生故障时，如何获得错误消息？
$client = new Google_Client();
$client->setApplicationName("Client_Library_Examples");
//$client->setDeveloperKey(API_KEY);
if (isset($_SESSION['service_token'])) {
$client->se
浏览 10提问于2014-03-03得票数 3
回答已采纳
根据的说法，Google BigQuery现在支持SQL中的SHA256加密调用(绕过了以前使用嵌入式JavaScript的需要)。然而，该功能的文档还没有按照帖子显示。
我们试过"SELECT SHA256(‘string_value’).“但这一功能没有得到承认。
有人对SHA256加密在BigQuery上的正确语法有早期的了解吗？
浏览 4提问于2016-12-21得票数 0
回答已采纳
如何引用terraform模块块中的对象变量列表
Variables.tf
variable "list_views_datasets" {
description = "List of Views in the Datasets"
type = list(object({
dataset_id = string
dataset_name = string
views = list(object({
view_id = string,
query = string,
浏览 2提问于2021-05-25得票数 0
我正在编写Python代码，以便使用bigquery.Client.query执行BigQuery sql删除命令语句。我得到了Cannot set destination table in job with DML statements exception。在此之前，我可以很好地使用Selection语句，但在删除时会出错
下面是我使用的Python代码
from google.cloud import bigquery
# TODO(developer): Construct a BigQuery client object.
client = bigquery.Client()
#
浏览 0提问于2020-03-06得票数 0
2回答
我在google应用程序脚本中使用bigquery，类似于：
try {
var queryRequest = BigQuery.newQueryRequest();
queryRequest.setQuery(sql).setTimeoutMs(100000);
queryResults = BigQuery.Jobs.query(queryRequest, projectNumber);
// Browser.msgBox(queryRequest);
}
catch (err) {
Logger.log(err);
Browser
浏览 1提问于2016-05-18得票数 2
回答已采纳
我不理解BigQuery Read Session User的权限。我想知道我是否被指派了这个角色。我可以通过python查询Bigquery中的数据集吗？
我试过：
from google.cloud import bigquery
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'Path/xxx.json'
project_id = 'Project_ID'
client = bigquery.Client()
client.query(`SQL`)
Got：
For
浏览 17提问于2022-11-30得票数 0
我尝试在Jupyter notebook中从Google BigQuery运行SQL查询。我按照这里写的做所有的事情，https://cloud.google.com/bigquery/docs/bigquery-storage-python-pandas#download_query_results_using_the_client_library。我打开了一个客户端帐户并下载了JSON文件。现在我试着运行这个脚本： from google.cloud import bigquery
bqclient = bigquery.Client('c://folder/client_ac
浏览 39提问于2021-10-02得票数 0
回答已采纳
全,
我很难在python中使用大约两周前发布的bq库的0.28版本创建Google BigQuery视图。我很确定问题就在我这一边，我错过了一些东西，但我找不到问题。
请轻点，我在网上不会问很多问题，但我很困惑。我也不是完全无能，以下是一些细节：
我的GOOGLE_APPLICATION_CREDENTIALS设置正确
我通过python运行的所有其他命令都很好
我已经复习了
我认为问题在于“修复” BigQuery:用client.create_table() #4038替换table.create()
我尝试过传统的和标准的sql
我在python 2.7.12上
浏览 6提问于2017-11-13得票数 2
回答已采纳
我正在尝试使用Python为BigQuery创建一个物化视图。有以下示例代码：
from google.cloud import bigquery
bigquery_client = bigquery.Client()
view_id = "my-project.my_dataset.my_materialized_view"
base_table_id = "my-project.my_dataset.my_base_table"
view = bigquery.Table(view_id)
view.mview_query = f""&#
浏览 10提问于2021-12-21得票数 1
我在SQL Server中有一个包含120列的表，我必须在BigQuery中复制相同的列名及其类型。
在Bigquery中为上述内容逐个创建具有其数据类型的表列需要花费大量时间。有没有更快的方法来创建它？
谢谢,
浏览 2提问于2019-12-18得票数 0
主要对象
一个python流管道，在该管道中，我从pub/sub读取输入。
在对输入进行分析之后，有两个选项可用：
如果x=1 ->插入
如果x=2 ->更新
测试
这不能使用apache函数完成，所以您需要使用BigQuery的0.25API来开发它(目前这是Google支持的版本)。
问题
插入的记录仍在BigQuery缓冲区中，因此update语句失败：
表上的UPDATE或DELETE语句将影响流缓冲区中不受支持的行。
代码
插入
def insertCanonicalBQ(input):
from google
浏览 0提问于2018-11-29得票数 1
2回答
我的Google Bigquery表有date和time列。表中每隔10分钟发布一次新数据，因此日期字段应为"2018-10-26“，时间字段为"19:05:00”。下一条记录将类似于日期和时间字段的"2018-10-26“和"19:15:00”。如何按一小时汇总每天的数据(每天24条记录)？
SQL请求使用Apps脚本从Google Sheets发送。以下是谷歌bigquery.gs脚本的一部分：()
...
var sheet = SpreadsheetApp.getActiveSheet();
var sql = 'SELECT date, t
浏览 0提问于2018-10-27得票数 5
回答已采纳
对于Google BigQuery基础设施，伙计们:我们已经运行了一组短时间运行的交互式查询，几个月来平均完成了大约5秒。从周五2/19开始，这些响应时间一直在稳步增长(SQL没有改变，我们正在处理使用滑动窗口查询的稳定数据流)
您是否注意到这是一个全球性的BigQuery问题？
编辑:更细粒度的响应时间：
浏览 2提问于2016-02-22得票数 3
回答已采纳
我的DAG中有以下操作员。他们从我的MySQL数据库接收数据，将其上传到GCS，然后导入到BigQuery。它运行得很好！有一个小问题..。
我可以看到，在create和import任务之间，目标表是使用schema参数中指定的模式以正确的列顺序在BigQuery中创建的。但是，一旦import任务运行，表的模式就会发生变化，并且将列重新排序为看似任意的排序。为什么会发生这种情况，是否有办法让BigQuery停止这样做？我看到操作符上有schema_update_options，但是文档很差.
create=BigQueryCreateEmptyTableOperato
浏览 1提问于2022-07-07得票数 0
我想通过Bigquery数据连接从Watson Studio SPSS Modeler中的Google Bigquery实例查询数据。连接本身运行良好。但是我如何通过一些输入参数(例如用户id)进行查询。我看到了运行自定义SQL的选项，但这不起作用。我总是收到错误消息"CDICO2034E:当设置了属性select_statement时，不能设置属性schema_name“。 我也不知道如何在SQL查询中使用输入参数。 感谢您的帮助！
浏览 53提问于2020-11-10得票数 0
我们如何从Google BigQuery导入大型数据集到R？
我尝试使用BigQuery包并尝试导入。我能够成功地导入较小的数据集，但不能导入大型的数据集。
sql <- "SELECT * FROM Table name"
todo_copies <- query_exec(sql, project = 'data-warehouse', dataset = 'name', useLegacySql = FALSE)
字节处理错误:请求的资源太大，无法返回responseTooLarge
浏览 5提问于2019-05-30得票数 1
我需要将我的两个表从Google Cloud SQL迁移到Google Bigquery。
该数据的大小约为1TB，并包含约5个月的股市节拍数据。
我从文档中了解到，我可以将数据导出为CSV并将其加载到Bigquery中。我希望按照最佳实践中的建议，在Google Bigquery中进行日期分区。此外，我希望在每个日期的数据迁移后做一个健壮的验证，以确保数据在传输过程中不会被破坏。
我的问题是，我如何编写代码来在每个循环中执行此循环：
从谷歌云导出SQL加载到谷歌BigQuery测试数据在transfer中未损坏
浏览 1提问于2018-01-30得票数 4
在中运行Spark作业。使用将json数据输出从作业加载到BigQuery表中。
BigQuery 声明支持数组类型。
我的Scala代码是：
val outputDatasetId = "mydataset"
val tableSchema = "["+
"{'name': '_id', 'type': 'STRING'},"+
"{'name': 'array1', 'type': 'ARRAY
浏览 4提问于2017-06-06得票数 1
回答已采纳
在的例子中
// Perform word count.
val wordCounts = (tableData
.map(entry => convertToTuple(entry._2))
.reduceByKey(_ + _))
// Write data back into a new BigQuery table.
// IndirectBigQueryOutputFormat discards keys, so set key to null.
(wordCounts
.map(pair => (null, convertToJson(pai
浏览 2提问于2017-10-07得票数 1
1回答
这与非常相似。
我正在Dataflow 2.x中创建一个管道，它接收来自Pubsub队列的流输入。输入的每一条消息都需要通过来自Google BigQuery的非常大的数据集流，并在写入数据库之前将所有相关值(基于键)附加到该数据集中。
问题在于，来自BigQuery的映射数据集非常大--任何将其用作侧输入的尝试都会失败，因为数据流运行程序会抛出错误"java.lang.IllegalArgumentException: ByteString太长“。我尝试了以下策略：
1)侧输入
如前所述，映射数据(显然)太大，无法做到这一点。如果我错了，或者有一个解决办法，请告诉我，因为这将是最
浏览 4提问于2017-11-27得票数 12
我想在大查询中插入一个json字段。典型的json是来自我们网页上所有不同API请求的请求有效负载。因此，典型的json可以具有不同的结构和大小。因此，我无法决定在Big Query中将json作为记录字段插入的模式。两个这样的json示例如下：
JSON1 = {
"key": "abcd",
"user_id": "1234FGH",
"start": 5,
"end": 10
}
JSON2 = {
"key": "efgh",
"creator_id&
浏览 0提问于2019-12-12得票数 0
我需要建议！
我正在尝试使用Apache Airflow GoogleCloudStorageToBigQueryOperator将谷歌云存储中的拼图文件加载到BigQuery中。
我的代码是：
export_transactions_to_bq_task = GoogleCloudStorageToBigQueryOperator(
task_id="export_transactions_parquet_to_bq",
bucket="tempo-io-datalake-delivery",
source_ob
浏览 1提问于2019-10-15得票数 1
我正在尝试将一串BigQuery SQL命令链接到一个ETL管道中，其中一些输出和输入将被加盖时间戳。
from datetime import timedelta
import airflow
from airflow import DAG
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
DAG_NAME = 'foo'
default_args = {
'owner': 'airflow',
'depends_on_p
浏览 1提问于2018-07-12得票数 2
回答已采纳
我在BigQuery中保存了一个查询。现在，我打开了一个新的SQL编辑器，并编写了新的SQL查询，它需要将保存的查询作为临时表进行计算。这样做有可能吗?我正在使用新的Google版本，底部只有一个“保存查询”菜单。似乎所有的查询都存储在这里。
浏览 1提问于2021-12-31得票数 2
当我在本地运行Spark Scala代码时，我得到了以下错误： Exception in thread "main" com.google.cloud.spark.bigquery.repackaged.com.google.api.gax.rpc.InternalException: com.google.cloud.spark.bigquery.repackaged.io.grpc.StatusRuntimeException: INTERNAL: request failed: internal error
at com.google.cloud.spark.b
浏览 16提问于2020-04-08得票数 1
回答已采纳
据我所知，OLAP在Power中被用来加速与数据的交互。
但是我知道像Google BigQuery和RedShift这样的大数据数据库在过去的几年里已经出现了。是以SQL为目标的BI解决方案(如LookandChart.io)使用OLAP还是依赖于数据库的速度？
浏览 7提问于2016-05-02得票数 0
回答已采纳
我正在使用gcp bigquery通过google函数存储新闻流，并将其保存在bigquery中。
如何运行使用来自bigquery的数据的python脚本，并最终将得分和幅度的结果写回相关的数据集？
我在google文档中找不到任何关于它的东西，只是如何运行情绪分析，而不是如何从bigquery中获取数据并将结果传回bigquery。
非常感谢您的支持。
浏览 10提问于2019-11-26得票数 0
4回答
在朱庇特笔记本中，我试图使用BigQuery服务器上的类似sql的查询从BigQuery导入数据。然后我将数据存储在一个dataframe中：
import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="credentials.json"
from google.cloud import bigquery
sql = """
SELECT * FROM dataset.table
"""
client = bigquery.Client()
df_bq = cl
浏览 2提问于2018-11-22得票数 16
我使用Jupyterhub来运行Jupyterhub BigQuery，查询的常用语法是： import google.datalab.bigquery as bq
sql_qry = "select * from table"
query = bq.Query(sql_qry)
sql_job = query.execute(output_options = bq.QueryOutput.table(name='output_table',
浏览 35提问于2019-12-27得票数 0
我有一个直截了当的问题，Google是否有一种方法将一个表附加到另一个表中，就像我有错误一样忽略模式：
Invalid schema update. Field XXXhas changed type from NUMERIC to FLOAT
Python代码：
def COPY():
client = bigquery.Client()
job_config = bigquery.QueryJobConfig()
job_config.destination = client.dataset("DATASET").table("TABLE&
浏览 0提问于2019-07-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
