腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Bigquery
对
Google
Storage
中
csv
文件
的
直接
查询
csv
、
google-bigquery
、
google-cloud-storage
我想向您请教一个关于GCP
的
技术问题。 在
bigquery
中
,是否可以
直接
从存储
中
读取和
查询
CSV
文件
,而不需要加载表?例如,如果我在路径gs: //mybucket/file1.
csv
和gs: //mybucket/file2.
csv
中有两个
csv
,我可以
直接
对
文件
进行
查询
吗?类似于&
浏览 17
提问于2021-08-02
得票数 0
1
回答
AWS雅典娜在GoogleCloud
中
的
等价物
amazon-web-services
、
google-cloud-platform
、
amazon-athena
寻找一个等效
的
GoogleCloud工具,可以在解压前
查询
压缩
的
CSV
。目前我们使用雅典娜来实现这一点,但正在寻求过渡到GoogleCloud。在GCP
中
,有没有等同于Athena
查询
压缩
CSV
的
工具?
浏览 14
提问于2020-02-11
得票数 3
回答已采纳
1
回答
:如何从数据库读取数据并写入
BigQuery
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
我需要从一些源数据库(如Oracle、MySQL )设置一个数据管道,并将数据加载到
BigQuery
。我找不到合适
的
文档或例子来实现这一点。你能帮我指出正确
的
方向吗?
浏览 5
提问于2017-07-10
得票数 4
2
回答
使用本地
文件
通过java库加载
Google
BigQuery
表。
google-bigquery
有没有一种方法可以通过
CSV
库从本地
BigQuery
文件
中加载表?当我试图将一个本地
文件
URI传递给JobConfigurationLoad.setSourceUris()时,我收到了错误消息"Source URI必须是一个
Google
-
Storage
location相关
的
,如果我需要首先上传
文件
到谷歌云存储,如果我在将
文件
加载到
BigQuery
之后立即从云存储
中
删除
文件</em
浏览 2
提问于2012-08-02
得票数 3
1
回答
如何从Kubernetes引擎触发从云存储到
BigQuery
的
数据上传?
google-bigquery
、
google-cloud-platform
用户可以将相对较小
的
数据集(~100 to,具有相同数据结构
的
多个.
csv
)从客户端应用程序上传到云存储。上传完成后,我需要将所有新.
csv
文件
中
的
所有数据导入到一个具有特定于用户
的
参数
的
现有
BigQuery
表
中
(用用户id标记每一行可能是这样)。秩序不重要。
Google
正在提供基于GUI
的
解决方案和命令行解决方案。不过,我想,有一种方法可以触发上传,并从基于G
浏览 0
提问于2017-11-27
得票数 0
回答已采纳
1
回答
谷歌
BigQuery
和谷歌云存储之间是否共享
文件
?
google-bigquery
、
google-cloud-storage
我已经通过从谷歌云存储加载
CSV
文件
创建了一个
BigQuery
表。 在这种情况下,
BigQuery
表是引用云存储
中
的
CSV
文件
,还是将数据复制到自己
的
存储
中
?
浏览 7
提问于2016-07-26
得票数 2
回答已采纳
3
回答
如何将GCS
中
的
csv
随机样本导出到
BigQuery
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
我正在使用位于400M+存储桶
中
的
大型
CSV
( GCS )。我需要获取此
csv
的
随机样本,并将其导出到
BigQuery
进行初步探索。我在网上找遍了,似乎找不到任何能解决这个问题
的
东西。这是可能
的
吗?我该如何去做呢?
浏览 3
提问于2021-06-07
得票数 1
1
回答
简单耗时太长
performance
、
google-bigquery
查询
与以下内容一样简单:表有11m行,并占用30+分钟。我意识到,特定
的
查询
执行一些非平凡
的
输出,但即使是对表
的
微小输出
查询
也需要30+分钟:好像是关起来了
浏览 1
提问于2017-06-15
得票数 0
回答已采纳
4
回答
将Pandas数据帧从本地机器上传到GoogleCloud桶
python
、
pandas
、
google-cloud-platform
、
google-cloud-storage
我想上传一个熊猫
的
数据框架从本地机器
直接
到谷歌云存储,因此,我不是一个云功能。我尝试了使用
的
不同方式。但我无法拯救。注意:我可以只使用
google
.cloud包from
google
.cloud import
storage
input_dict = ['尝试:2
storage
_client =
stor
浏览 0
提问于2019-06-14
得票数 7
1
回答
使用大
查询
或大表
查询
聚合值
的
用例?
google-bigquery
、
bigtable
、
google-cloud-bigtable
我用它来设计30 TB文本
文件
的
存储,作为在
Google
云上部署数据管道
的
一部分。我
的
输入数据是
CSV
格式,我希望尽量减少为多个用户
查询
聚合值
的
成本,这些用户将使用多个引擎在云存储
中
查询
数据。使用云存储进行存储,并链接大
查询
中
的
永久表以进行
查询
,或使用Cloud表进行存储,并在计算引擎上安装HBaseShell来
查询
大表数据。基
浏览 0
提问于2019-01-24
得票数 0
回答已采纳
1
回答
使用
查询
和指定分隔符将
CSV
导出到
Google
存储
google-bigquery
、
google-cloud-storage
我正在尝试将一个表从
Google
导出到
CSV
中
,并使用bq extract将该
文件
保存到一个谷歌存储
中
,但问题是我希望将该表导出到2个具有不同过滤器
的
CSV
文件
中
,并使用;作为我
的
CSV
文件
的
分隔符。但是我在网上找不到任何可以在bq extract中使用
查询
的
文档。例如,我有一个表mytable.cities,我想将该表导出到2
浏览 4
提问于2022-06-21
得票数 0
2
回答
使用云函数从FTP提取excel
文件
到
BigQuery
python
、
google-cloud-platform
、
google-bigquery
、
ftp
、
google-cloud-functions
我正在创建一个自动脚本,从FTP下载
文件
并将它们存储到
BigQuery
中
。import pandas as pd data_xls = pd.read_excel('f
浏览 0
提问于2019-02-18
得票数 1
回答已采纳
2
回答
如何将
bigquery
表
中
超过16000行
的
数据作为
CSV
文件
导出到本地机器?
google-cloud-platform
、
google-bigquery
我想在
Bigquery
中导出select语句
的
输出。有“保存结果”选项可用,但它有16,000行
的
限制。 我怎么能出口更多
的
东西呢?
浏览 66
提问于2020-12-02
得票数 0
3
回答
带有默认值
的
附加列加载
BIGQUERY
文件
google-cloud-platform
、
google-bigquery
根据
Google
给出
的
例子,我按照指南(链接和代码)将
CSV
文件
加载到
BigQuery
(BQ)表
中
。const {
BigQuery
} = re
浏览 1
提问于2020-12-07
得票数 2
回答已采纳
3
回答
从gsheet向
bigquery
插入数据
javascript
、
google-sheets
、
google-bigquery
我想从gsheet上传数据到
bigquery
中
的
一个表,我
的
意思是我想用代码上传数据,而不是用add on,因为它将被安排在以后。有没有什么代码示例可以用于这两种方式(追加和截断)?我有一个2列
的
数据,我想要加载。这些列包括:josh big可能是使用以下函数
的
一些代码
BigQuery
.Jobs.insert(resource,
浏览 1
提问于2015-12-22
得票数 2
4
回答
使用
BigQuery
将Python表数据导出到
Google
Cloud
Storage
having where子句
python
、
google-bigquery
、
google-cloud-storage
我想从
BigQuery
中导出表数据到
Google
Cloud
Storage
。问题是,我需要从date1到date2
的
数据,而不是整个表数据。location='US') # API request这就是我在
google
cloud帮助中找到
的
。没有使用where子句添加
查询
或限制数据
的
空间。
浏览 0
提问于2018-06-11
得票数 6
1
回答
从
bigquery
导入到
google
sheets限制为10k行
google-bigquery
我正在尝试从
google
bigquery
导入一个表格到
google
sheets。数据>数据连接器>大
查询
,但当我导入它时,它显示限制为10,000行。 有没有办法超过这一限制?
浏览 1
提问于2020-07-06
得票数 0
9
回答
将Pandas DataFrame写到或
BigQuery
python
、
google-cloud-storage
、
google-cloud-platform
、
google-cloud-datalab
你好,谢谢您
的
时间和关心。我正在
Google
平台/ Datalab
中
开发一个木星笔记本。我已经创建了一个Pandas DataFrame,并且希望将这个DataFrame写到(GCS)和/或
BigQuery
中
。我在GCS中有一个桶,并通过以下代码创建了以下对象:import gcp.
storage
as
storage
project = gcp.Context.default().project_idbucket_name
浏览 14
提问于2016-03-30
得票数 47
回答已采纳
2
回答
无法将数据加载到
bigquery
(BadStatusLine)
google-bigquery
我正在尝试将一个本地
文件
加载到
bigquery
中
的
现有表
中
。在不同
的
日子尝试了3次。
文件
有1.1m行。我找不到遇到
的
任何特定错误。下面是详细
的
说明。job = client.Load(table_reference, source, schema=schema, **opts) File "build/bdist.linux-x86_64/egg/
bigquery
_client
浏览 0
提问于2013-05-02
得票数 2
1
回答
如何连接到VPC项目
google-bigquery
、
google-vpc
我是
BigQuery
的
新手,我正在努力了解VPC如何为
BigQuery
项目工作。我有一个
BigQuery
项目,它从其他几个
BigQuery
项目中导入数据(没有VPC,而是同一个组织)。我还需要连接到VPC网络
中
的
一个项目(仍然是同一个组织)。我阅读这个VPC项目的唯一方法是 我希望能够在我自己
的
项
浏览 2
提问于2020-05-27
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
想免费用谷歌资源训练神经网络?Colab详细使用教程
谷歌推出Bigtable联邦查询,实现零ETL数据分析
Google Cloud 发布 COVID-19 数据集,可构建 AI 模型来对抗疫情
Apache Drill 一个实时查询引擎的入门
Google发布供用户审核企业数据库的Cloud SQL for MySQL扩展组件
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券