腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1243)
视频
沙龙
1
回答
为什么
BigQuery
执行
引擎
Dremel
需
要在
处理
数据
之前
将
数据
从
BigQuery
文件系统
加
载到
本地
存储
?
我试图深入研究
BigQuery
架构,但被我收集的关于
BigQuery
架构的信息弄得相当困惑。描述的是,
执行
引擎
Dremel
将
数据
从
BigQuery
文件系统
巨人加
载到
Dremel
的叶子节点的
本地
存储
中,并从那里进行
处理
。
为什么
需要将
数据
重新
存储
在
本地
存
浏览 16
提问于2020-07-09
得票数 0
回答已采纳
2
回答
<-> ->
BigQuery
、
、
、
我们正在开发
处理
日志
数据
的项目。我的想法是 请注意。对于python脚本,我们正在考虑是在google应用程序
引擎
上运行还是在google计算
引擎
浏览 5
提问于2014-09-05
得票数 2
回答已采纳
2
回答
为什么
BigQuery
有自己的
存储
空间?
BigQuery
有自己的
存储
系统,与完全分离。 我的问题是:
为什么
BQ不像Hadoop那样直接
处理
存储
在GCS上的
数据
?这种设计的好处和必要性是什么?
浏览 1
提问于2019-01-17
得票数 1
回答已采纳
2
回答
在google云中操纵大量文件以重新格式化
、
、
、
、
我在Google云
存储
中有大量json文件,我想将这些文件加
载到
Bigquery
中。平均文件大小为5MB,未压缩。问题是它们不是新分隔的行,所以我不能像
bigquery
那样加载它们。我是否应该使用Google函数或
数据
准备,或者只是旋转一个服务器,让它下载该文件,重新格式化它并将其上传回云
存储
,然后上传到
Bigquery
?
浏览 0
提问于2018-12-05
得票数 2
回答已采纳
2
回答
从
HTTP请求API拉取
数据
到Google Cloud
、
、
、
、
我有一个应用程序,
从
API发送
数据
给我。
数据
是半结构化的(json
数据
) 我想把这个
数据
发送到Google Big Query,以便储存所有的信息。 但是,我不知道如何才能正确地做到这一点。到目前为止,我已经在自己的服务器上使用Node通过POST请求获取
数据
。 你能帮帮我吗?特纳克。
浏览 17
提问于2019-10-15
得票数 0
2
回答
Bigquery
和R:成本和
数据
存储
在哪里?
、
我正在使用RStudio对
存储
在
BigQuery
中的大型
数据
集运行分析。该
数据
集是私有的,来自一家大型零售商,该零售商通过
BigQuery
与我共享了该
数据
集,以运行所需的分析。我使用bigrquery库
将
R连接到
BigQuery
,但是找不到以下两个问题的答案: 1)当我使用R运行分析时(例如,首先使用SELECT获取
数据
并将其
存储
在R中的
数据
框中),然后
数据
是否以某种方式
存
浏览 0
提问于2018-08-10
得票数 0
3
回答
如何
从
oracle
数据
库中提取
数据
并保存到Google云平台
、
需要从oracle
数据
库中提取
数据
并
存储
在Google云平台中。
数据
大小约为10 TB。有没有可能通过Spark?
数据
必须每月传输一次。在GCP中
存储
和
处理
的
数据
如下: Oracle
数据
库到云
存储
(不必做CSV导出),然后它将是干净的,并准备在Dataprep中,这将通过
数据
流进一步
处理
,最后它将被
存储
在Big Query下(
从
大查询
数据
浏览 2
提问于2019-11-17
得票数 0
1
回答
使用Javascript
将
传感器生成的
数据
推送到Google Cloud Function
、
、
、
、
这个设备有自己的接口来读取生成的
数据
,我有它用来做这件事的代码。我需要帮助使用代码获取生成的
数据
,并将其发送到云上。我是一个初学者,我不知道如何去解决这个问题,所以任何类型的方向都将非常感谢。下面是用于获取
数据
并将其打印到HTML表上的代码。
浏览 1
提问于2021-02-22
得票数 0
8
回答
不使用
将
BigQuery
数据
导出到CSV
、
我目前正在编写一个软件,用于导出大量的
BigQuery
数据
,并将查询的结果
本地
存储
为CSV文件。我使用Python 3和google提供的客户端。我做了配置和身份验证,但问题是,我无法在
本地
存储
数据
。每次
执行
时,我都会得到以下错误消息 这是我的职务配置
浏览 5
提问于2015-07-27
得票数 21
回答已采纳
1
回答
从
云
存储
重写具有云功能的csv文件并将其发送给
BigQuery
、
、
我正在编写一个小型云函数python脚本来重写来自
存储
的csv文件(跳过一些列),并将其发送到
BigQuery
。我的脚本的
BigQuery
部分如下所示: job_config.skip_leading_rows = 1 uri = "gs://url.appspot.com/fi
浏览 0
提问于2019-12-16
得票数 0
回答已采纳
2
回答
不含Tensorflow服务的GCP中的Tensorflow模型部署
、
、
、
、
机器学习模型:基于Tensorflow (版本1.9)和Python版本3.6
数据
输出:到
Bigquery
该模型
从
Google读取输入
数据
,输出预测必须用Google编写。有一些
数据
准备脚本必须在运行模型预测
之前
运行。因此,在这种方法中,我必须拆分一个VM,以
执行
浏览 1
提问于2018-10-03
得票数 2
4
回答
从
s3加载
数据
的经济高效的
BigQuery
、
、
我每天都需要加
载到
BigQuery
的分区表中,在s3中创建了(2 TB)大小为20k的文件。文件每5分钟滚动一次。
将
数据
传输到
BigQuery
的最经济高效的方法是什么?我正在寻找在亚马逊网络服务s3到GCP网络出口和实际
数据
加载的成本优化。
浏览 1
提问于2019-12-19
得票数 0
5
回答
将
大量
数据
从
BigQuery
加
载到
python/大熊猫/dask
、
、
、
、
我在
BigQuery
中有一个大表(假设每天插入2000万行)。我希望有大约2000万行
数据
,在python/大熊猫/dask中有大约50列的
数据
来做一些分析。我尝试过使用bqclient、panda和bq
存储
API方法,但在python中拥有500万行需要30分钟。还有其他办法吗?甚至有任何谷歌服务可以做类似的工作?
浏览 2
提问于2019-03-06
得票数 6
回答已采纳
1
回答
如何更改Google
BigQuery
的位置?
、
、
所以,我第一次尝试在我的一个项目中使用Google
BigQuery
,我有点困惑。这些文档并没有多大帮助,
从
谷歌的博客判断,所有的谷歌员工似乎都因为当前的流行病而离开了公司。我已经有几个.csv文件,其中包含表的未标记的数字
数据
上传到Google
存储
,在他们的澳大利亚服务器。我想要做的是使用
BigQuery
来
执行
k均值聚类和分析它们上的变量之间的相关性。但是,我在试图
将
数据
传输到
BigQuery
时遇到了问题。我试着使用“
数据<
浏览 0
提问于2020-04-10
得票数 1
3
回答
获取
从
GCS到BQ的大量csv文件
、
、
、
、
虽然BQ确实有一个CSV加载器,但我拥有的CSV文件是非常非标准的,如果不对其进行格式化,最终无法正确加
载到
BQ。通常,我会将csv文件下
载到
服务器上进行“
处理
”,并将其直接保存到BQ或保存到BQ可以轻松摄取的avro文件。但是,文件非常大,如果不编写大量代码来优化/流式
处理
,我很可能(也很可能)没有
存储
/内存来进行批
处理
。 这是使用Cloud Dataflow的好用例吗?有没有什么教程可以
将
GCS中的"X“格式的文件导入BQ?任何教程指针
浏览 123
提问于2019-01-09
得票数 1
回答已采纳
1
回答
GCP -创建
数据
流(发布/订阅->预测(ML模型) ->
BigQuery
/Firebase)
、
、
、
、
我是GCP新手,我想为我的项目创建一个
数据
流。长话短说,我的设备
将
数据
发送到发布/订阅,然后,我想使用ML模型进行预测,然后
将
所有这些预测输出到
BigQuery
和实时firebase
数据
库。我找到了这个(我看过流+微批
处理
,但没有实现它)和这个,但我真的不知道如何运行它,如果有人能帮我一把,我
将
非常感激。 用云函数实现所有这些功能会更容易吗?
浏览 2
提问于2019-11-26
得票数 0
2
回答
在Big query中将表
数据
作为CSV下
载到
本地
机器
、
downloadGbqToCsv(self,table_name,csv):
bigquery
= discovery.build('
bigquery
', 'v2', credentials=credentials) 'sourceTableresult =
bigquery
.jobs().in
浏览 1
提问于2016-03-28
得票数 1
6
回答
Google App Engine:在
数据
存储
上使用大查询?
、
有一个GAE
数据
存储
类型,其中有几个100‘2000个对象。我想做几个相关的查询(涉及计数查询)。大型查询似乎非常适合做这件事。 目前是否有使用大查询查询实时AppEngine
数据
存储
区的简单方法?
浏览 0
提问于2012-06-10
得票数 15
回答已采纳
1
回答
理解
BigQuery
BigLake的几个特性
、
、
快速扫描 SELECT * FROM table WHEREcountry="US" 谓词下推
将
获取country='US'并在本机源上对其进行评估,而如果我们没有谓词下推(在本例中),它将涉及运行SELECT * FROM table --
将
所有
数据
复制到
处理
服务器谓词下推和行筛选计算似乎是一回事,但其中之一可能意味着
浏览 5
提问于2022-07-02
得票数 0
1
回答
未能将大
数据
从
Google
BigQuery
导入到Google Cloud DataLab
、
、
为了使用Tensorflow进行机器学习,我尝试了两种方法,在Google中将大约5000万行( 18GB )的大表导入到
BigQuery
中。allowLargeResult': True}}) 有什么想法吗? 谢谢
浏览 1
提问于2017-07-02
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何用纯SQL查询语句可以实现神经网络?
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
如何用纯SQL查询语句实现神经网络
什么是数据仓库,以及我为什么需要它?
谷歌宣布其BigQuery服务已支持以太坊区块链数据分析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券