腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
BigQuery
中
对
大型
时间
序列
数据
集
进行
排序
以便
导出
d3.js
、
google-cloud-platform
、
google-bigquery
我目前正在使用
BigQuery
存储来自各种系统的
大型
时间
序列
数据
集
,这些系统的采样率从每小时1个样本到每秒1000个样本不等。我
在
每个基表上应用一个不重叠的滑动窗口来聚合
数据
,这本质上是对
数据
进行
下采样。我
对
每个聚合表重复执行此操作,直到最终表
中
的行数不超过6000行。我这样做的原因是,我可以
在
许多不同的细节级别查看
时间
序列
<e
浏览 42
提问于2020-01-04
得票数 0
3
回答
谷歌
BigQuery
数据
集
导出
google-app-engine
、
google-bigquery
我正在尝试使用谷歌
BigQuery
为GitHub
数据
挑战赛下载一个
大型
数据
集
。我已经设计了我的查询,并能够
在
谷歌
BigQuery
的控制台中运行它,但我不允许将
数据
导出
为CSV,因为它太大了。推荐的帮助告诉我将其保存到表
中
。这需要我
在
我的账户上启用帐单,并尽可能地
进行
付款。 有没有一种方法可以将
数据
集
保存为CSV (或JSON)文件,
以便<
浏览 1
提问于2014-07-28
得票数 1
2
回答
按原始
数据
的顺序上传
BigQuery
中
的
数据
,而不是以某种
排序
方式
google-bigquery
是否有办法按照原始
数据
的顺序将
数据
上传到
bigquery
中
?因为,当我将
数据
上传到
bigquery
时,它会被
排序
。我不希望这种
排序
,并希望
数据
保持原来的顺序。我能做些什么呢?
浏览 0
提问于2017-03-17
得票数 0
回答已采纳
1
回答
如何在
BigQuery
中最大限度地减少每次执行SQL查询的成本
sql
、
google-cloud-platform
、
google-bigquery
我是
BigQuery
和GCP的新手。我正在使用
BigQuery
中
可用的(
大型
)公共
数据
集
,运行一个SQL查询--它基于一个简单的where子句从dataset
中
的一个表中选择一组
数据
。然后,我将对获得的
数据
执行额外的操作。我只需要每月运行一次这个查询,其他操作就需要更频繁地运行(每小时)。我的问题是,每次我这样做,都会导致
BigQuery
处理4+百万行
数据
,而运行这个查询的成本
对
我
浏览 3
提问于2019-12-30
得票数 2
回答已采纳
1
回答
BIgquery
:我如何安排一个查询来用一个新表来附加一个现有的表?
sql
、
google-bigquery
、
scheduled-tasks
我是Biguery的新手,我需要了解如何在系统
中
创建自动化的功能。我的任务是创建一个几乎实时的动态仪表板,显示我公司从到
BigQuery
到的销售
数据
。我想确定的是,我创建了一个
数据
真相,它将随着当前销售
数据
的不断更新而不断更新,而不必生成一个新的表来
对
其
进行
数据
分析。 I将我的
数据
集
从POS
导出
,并在一个桶中将文件上传到GCS。
在
Bigquery
中</em
浏览 4
提问于2022-10-18
得票数 0
1
回答
将
BigQuery
输出
导出
到CloudStore
google-bigquery
、
google-cloud-storage
、
google-cloud-bigtable
我们的组织
在
Google中有
数据
--由我们的供应商托管。我们希望
在
BigQuery
中
运行作业,
以便
从Bigtable查询
数据
,并将
数据
作为.csv文件
导出
到CloudStore
中
,而无需将
数据
存储为
BigQuery
中
的
数据
集
。我们不想存储
在
BigQuery
数据
集中,因为我们不
浏览 2
提问于2022-01-23
得票数 0
1
回答
如何获取有关
BigQuery
中正在使用/查询哪些视图和
数据
集
的使用
数据
?
google-bigquery
、
bigquery-standard-sql
我需要
BigQuery
中
数据
集
和视图的使用
数据
。我想知道
对
所有不同的
数据
集
和视图运行了多少查询。我的目标是了解当前正在使用的
数据
集
和视图。我查看了审计日志,但我无法将所有记录
导出
到excel中
进行
分析。我只能
导出
特定日期的最多300个日志。有没有办法
在
BigQuery
中
运行一个查询,让我得到这些
数据</
浏览 25
提问于2019-07-09
得票数 1
5
回答
将
数据
从防火墙导入到
bigQuery
中
firebase
、
google-bigquery
、
google-cloud-firestore
我已经尝试遵循链接
BigQuery
到Firebase。仍然无法看到从消防站或消防基地-实时
数据
库到
bigQuery
的任何
数据
。请帮帮忙。
浏览 22
提问于2017-11-16
得票数 8
回答已采纳
2
回答
我们能安排StackDriver日志记录到
导出
日志吗?
google-cloud-platform
、
stackdriver
、
google-cloud-stackdriver
我是的新手,根据这个,StackDriver将
数据
访问审计日志存储30天。
在
同一页
中
也提到过,日志条目的大小限制为100 to。我知道,日志可以使用
导出
,也可以
在
许多语言中使用 (我们更喜欢Python)。我有两个与输出日志有关的问题,即:
在
StackDriver
中
是否有任何方法来安排类似于任务或Cron作业的任务或任务,
以便
在固定的
时间
间隔后将日志自动
导出
到Google存储
中
?如果是,是否有
浏览 1
提问于2019-03-09
得票数 2
回答已采纳
3
回答
以高效的方式从
BigQuery
读取到Spark?
apache-spark
、
google-bigquery
、
google-cloud-dataproc
、
google-hadoop
当使用从
BigQuery
读取
数据
时,我发现它首先将所有
数据
复制到Google Cloud Storage。然后将这些
数据
并行读取到Spark
中
,但当读取大表时,复制
数据
阶段需要很长
时间
。那么有没有更有效的方法将
数据
从
BigQuery
读取到Spark
中
呢? 另一个问题:从
BigQuery
阅读由2个阶段组成(复制到GCS,从GCS并行阅读)。复制阶段是否受Spark簇大小的影响,还是需要固定的
时
浏览 6
提问于2017-01-04
得票数 7
回答已采纳
1
回答
在
培训/评估之前,谷歌的AutoML表会对我的
数据
样本
进行
洗牌吗?
data-science
、
google-cloud-automl
我查阅了这些文档,但仍然不知道服务
在
培训/评估之前是否会对
数据
进行
洗牌。我需要知道这一点,因为通过
数据
是
时间
序列
,这将是现实的评估一个经过训练的样本样本的早期
时间
。我知道我可以
导出
评估结果并
对
其
进行
调整,但是
BigQuery
似乎不尊重原始
数据
的顺序,而且
数据
中
没有绝对的
时间
特性。
浏览 1
提问于2019-07-10
得票数 2
回答已采纳
1
回答
将多个GA未采样报表
数据
合并为一个
数据
集
(视图)
date
、
merge
、
google-analytics
、
google-bigquery
、
google-data-studio
我一直
在
使用Google data Studio为Google Analytics 360
数据
构建仪表板。这些
数据
目前是通过谷歌
BigQuery
获取的,以避免抽样。我在某处读到,我可以为13个月之前的日期范围生成未采样的报告,然后用
BigQuery
中
的SQL代码将它们组合在一起,以结合当前的GA
数据
。我已经从GA
导出
了2个带有5个参数的未采样报告CSV文件,并将这些CSV文件作为
数据
集
导入到
BigQuery<
浏览 26
提问于2019-06-14
得票数 0
1
回答
通过Hadoop输入格式的
BigQuery
连接器示例
apache-spark
、
google-bigquery
、
pyspark
、
google-hadoop
、
google-cloud-dataproc
我有一个存储
在
ETL表
中
的
大型
数据
集
,我想将它加载到一个用于
BigQuery
数据
处理的pypark RDD
中
。 不幸的是,两端的文档似乎都很少,而且超出了我
对
Hadoop/Spark/
BigQuer
浏览 16
提问于2015-07-14
得票数 11
1
回答
大查询与文本搜索API
google-app-engine
、
google-bigquery
这是一个有点愚蠢的问题,但是文本搜索API
在
测试版
中
已经有几个月了,并且有非常严格的API调用限制。Bug Big Query已经存在,而且看起来非常有前途。有什么提示可以选择
在
不断到来的错误日志中
进行
搜索吗?
浏览 0
提问于2012-12-12
得票数 1
回答已采纳
2
回答
Google CloudSQL :
在
cloudSQL上构造历史
数据
python
、
google-app-engine
、
google-cloud-sql
我使用google cloudSQL
对
人的
数据
进行
预先搜索,以获取用户列表。在
数据
存储
中
,已有2种模型存储的
数据
。首先用于跟踪用户的当前
数据
,其他模型用于跟踪历史
时间
线。当前的
数据
存储
在
google cloudSQL上,
对
所有用户来说都是上百万行。现在,我希望通过将所有历史
数据
添加到云中来实现
对
历史
数据
的预先搜索,包括日期之间的搜索。但是无法找到
浏览 2
提问于2017-06-20
得票数 1
1
回答
Firebase分析
数据
将被
导出
到
BigQuery
多长
时间
google-bigquery
、
firebase-analytics
我已经
在
Firebase控制台中启用了
BigQuery
集成,并对此有一些问题: Firebase分析
数据
将被
导出
到
BigQuery
多长
时间
?我有从Firebase到
BigQuery
的集成,不知怎么的,Firebase
数据
导出
被某人禁用了。我昨天
在
17:00左右启用了它,到目前为止还没有
在
BigQuery
中
更新
数据
。为什么即使
数据</e
浏览 9
提问于2020-05-08
得票数 1
1
回答
加速PostgreSQL到
BigQuery
python
、
postgresql
、
pandas
、
amazon-ec2
、
google-bigquery
我想将目前存储
在
postGreSQL
中
的一些
数据
上传到Google,以了解这两个工具的比较情况。 要移动
数据
,有很多选项,但我发现的最友好的(
对
我来说)一个选项利用了蟒蛇熊猫的功能。postGreSQL
在
AWS上,我从一个Amazon实例
中
调用python。两者都很大,而且速度很快。我目前没有使用多个处理器,尽管有16个可用。
浏览 1
提问于2018-07-10
得票数 0
2
回答
如何在新UI中共享
数据
集
user-interface
、
google-bigquery
当使用旧的大查询UI时,可以像在中一样共享
数据
集
。 如何使用新的UI来完成这一任务?
浏览 0
提问于2018-08-14
得票数 2
回答已采纳
1
回答
可以从google compute加载并
导出
到BQ吗?
google-bigquery
如何从计算机磁盘加载到
bigquery
?而且,这是否应该比从谷歌CLoud存储中加载更快?出口也是一样。非常感谢
浏览 2
提问于2013-05-30
得票数 0
1
回答
在
Hadoop
中
创建许多小的XML文件
xml
、
hadoop
我
在
Hadoop中有一个
大型
数据
集
,其中包含许多不同客户的
数据
。该
数据
集约有50,000个客户。此外,我需要从Hadoop集群中
导出
所有这些文件,并将它们放在一个标准文件系统
中
,web应用程序将在该文件系统
中
为它们提供服务,因此
导出
大量这样的文件可能也会出现问题。我想到的另一个想法是创建一个
序列
浏览 1
提问于2015-05-14
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌开源FHIR标准协议缓冲工具,利用机器学习预测医疗事件
通过机器学习让医疗数据更好用
Google Cloud 发布 COVID-19 数据集,可构建 AI 模型来对抗疫情
谷歌BigQuery ML正式上岗,只会用SQL也能玩转机器学习!
新BigQuery推荐器可提供用户表格分区与分群优化建议
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券