腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
在
bigquery
中
根据
id
和
时间
分组
数据
sql
、
google-bigquery
我正在做一个查询,我可以
根据
ID
和
时间
聚合
数据
。我已经成功地
根据
ID
聚合了
数据
,但是当我添加
时间
时,查询不能识别
时间
列。示例代码: SELECT
ID
, SUM(CASE WHEN Language = 'EN' THEN 1 ELSE 0Language = 'SN' THEN
浏览 11
提问于2020-07-08
得票数 0
回答已采纳
6
回答
BigQuery
转换为其他时区
datetime
、
timezone
、
google-bigquery
我将
数据
存储
在
谷歌大查询的unixtimestamp
中
。但是,当用户要求提供报告时,她将需要按当地时区对
数据
进行筛选
和
分组
。我没有看到时区转换函数: 有人知道我如何在
bigquery
中
做到这一点吗?例如,
在
将
时间
戳转换为
浏览 1
提问于2012-09-19
得票数 25
回答已采纳
1
回答
是否有用于Bigtable IO连接器的Apache Beam DynamicDestinations?
google-cloud-platform
、
apache-beam
、
dataflow
、
bigtable
Apache Beam有一个DynamicDestinations!为了BigQueryIO。 对于BigtableIO,是否有相同的实现或解决方法? events.apply(BigTableIO.<UserEvent>write()... ...
浏览 11
提问于2019-10-07
得票数 0
1
回答
谷歌BigTable的模式设计
google-cloud-platform
、
google-bigquery
、
bigtable
在
我的项目中,我使用的是谷歌
BigQuery
,它保存了大量的
数据
。
BigQuery
列是: account_
id
,session_
id
,transaction_
id
,用户名,事件,
时间
戳。
在
我的仪表板
中
,我
根据
时间
戳(最后30天)获取整个
数据
。因为我有非常大的
数据
,所以性能非常慢(获取最后30天的
数据
需要13秒)。最近,我试图查看
浏览 3
提问于2022-05-25
得票数 0
1
回答
存储快速增长的
数据
量的最佳设计/技术
google-bigquery
、
time-series
、
bigdata
、
scalability
、
iot
我需要每1分钟存储来自百万台设备的信号,其中每个信号对象都有4个属性
和
时间
戳: 我的第一种方法是
在
浏览 0
提问于2018-05-06
得票数 0
回答已采纳
1
回答
保持事件汇总计数的最佳方法Google
BigQuery
google-bigquery
、
time-series
、
pageviews
我将当前存储
在
Google Firestore
中
的页面视图事件
数据
自动加载到
BigQuery
数据
集中。我使用这些
数据
来显示总页数
和
“趋势”页数(过去48小时内的总浏览量)。我需要将总页数
和
趋势页数(按页面
分组
)馈送到一个
数据
库中使用在前端网站。我已经编写了
BigQuery
SQL来查询总计数,但我担心随着
时间
的推移,这些查询会变得效率低下。似乎我应该以某种方式
在
事
浏览 16
提问于2020-12-22
得票数 0
回答已采纳
1
回答
我需要从yyyyMMddHHmmss 20170227141500格式的
时间
戳
中
按年
和
月
分组
sql
、
google-bigquery
我需要从yyyyMMddHHmmss 20170227141500 (谷歌的
bigquery
gkg表)的
时间
戳
中
按年
和
月进行
分组
。我需要清点这一年的月度记录。
数据
类型为整数。
时间
戳是列名。实际上,我需要对
时间
戳的前6位进行
分组
。yearmonth是我的组名,不包括
在
表
中
。
浏览 8
提问于2021-02-11
得票数 0
回答已采纳
1
回答
无法按自定义分析标签聚合Firebase通知事件?
firebase
、
firebase-realtime-database
、
google-analytics
、
google-bigquery
、
google-cloud-messaging
我正在使用FireBase的云消息功能,我需要分析存储
在
BigQuery
中
的通知
数据
。我
在
BigQuery
中有两个表: .analytics_[0-9]*.event_*,其中包含所有事件的详细信息。_标签等
在
第一个表
中
,我可以
根据
事件的结果进行
分组
_名称,让我对不同的通知有一个很好的概述 event_nameevent_countnotification_receive50000notification_di
浏览 69
提问于2021-02-19
得票数 0
回答已采纳
2
回答
BigQuery
-删除特定的重复记录
sql
、
duplicates
、
google-bigquery
我有一个包含
数据
的
BigQuery
表,如下所示:date hits_eventInfo_Category hits_eventInfo_Action session_
id
user_
id
hits_time hits_eventInfo_Label
浏览 0
提问于2015-10-27
得票数 1
回答已采纳
2
回答
有没有办法下载一段
时间
内google analytics 4的全部
数据
?
google-analytics-api
、
google-analytics-4
但是,此接口允许下载某些维度
和
指标。request = RunReportRequest( dimensions=[Dimension")], ) 有没有办法将整个
数据
下载为
浏览 30
提问于2021-05-01
得票数 1
2
回答
如果表通过保留期被删除,
Bigquery
会收费吗?
google-bigquery
我有大约150 GB的
数据
,我想使用DML语句将其存储
在
bigquery
中
。
根据
他们的说法,他们将收取通过DML删除表的费用。考虑到我总是会插入
数据
。我并不担心插入
数据
的成本。
浏览 1
提问于2018-12-05
得票数 0
回答已采纳
3
回答
在
BigQuery
表
中
可以每小时进行分区吗?
google-bigquery
但是,模型中有没有什么东西阻止人们用其他
时间
段(例如,小时或周)来填充表
中
的分区呢? 将分区放在一个“小”表中有什么限制或缺点吗?
浏览 0
提问于2017-01-12
得票数 11
3
回答
类似SOCRATA SODA的查询
socrata
、
soda
如何在苏格拉塔苏打API
中
请求类似的查询? 问题是如何通过纯碱API像查询一样运行。如何通过查询
浏览 3
提问于2014-08-10
得票数 1
回答已采纳
2
回答
关于
数据
帧
中
的DateTime与谷歌大查询
中
的DateTime的问题
python
、
dataframe
、
google-bigquery
、
bigdata
我正在尝试将
数据
从
数据
框架推送到。我将
数据
帧的日期字段设置为我将谷歌的大查询日期设置为*DATETIME*。当我从Python导出到GBQ时,会得到以下错误: InvalidSchema:请验证DataFrame
中
的结构和
数据
类型是否与目标表的架构相匹配。我认为您不能仅仅将
数据
帧字段设置为date,对吗?是否有一种聪明的方法使这
浏览 3
提问于2018-11-30
得票数 0
1
回答
BigQuery
:加载日期列
数据
类型为长
时间
转换为
时间
戳的avro文件
google-bigquery
、
avro
、
bq
我很难让
BigQuery
正确地从avro文件中加载
时间
戳。{'
id
': '<masked>', '<mask
浏览 2
提问于2020-08-10
得票数 1
回答已采纳
1
回答
我能使用
BigQuery
和
的相同编程语言吗?
google-bigquery
、
google-cloud-dataflow
我希望
在
两种不同的技术中使用相同的函数来解析事件: Goolge
和
DataFlow。有我能用的语言吗?如果不是,谷歌是否计划在短期内支持一家公司?背景:这种解析有些很复杂(例如,应用自定义的URL提取规则,从用户代理中提取信息),但在计算上并不昂贵,而且不涉及将事件加入到任何其他大型查找表
中
。因为解析可能很复杂,所以我只想用一种语言编写解析逻辑,并在需要的地方运行它:有时
在
BigQuery
中
,有时在其他环境(如DataFlow )
中
。我希望避免用不同的语言编写相同的复杂
浏览 0
提问于2018-06-12
得票数 0
2
回答
Google CloudSQL :
在
cloudSQL上构造历史
数据
python
、
google-app-engine
、
google-cloud-sql
我使用google cloudSQL对人的
数据
进行预先搜索,以获取用户列表。在
数据
存储
中
,已有2种模型存储的
数据
。首先用于跟踪用户的当前
数据
,其他模型用于跟踪历史
时间
线。但是无法找到适当的解决方案,因为我必须考虑搜索的性能(在当前的搜索
中
,获取结果的
时间
是正常的,但是当历史记录被获取时,它将扫描由于需要复杂的连接而导致查询减速的所有记录)。用于从cloudSQL获取
数据
的查询是
根据
用户的需要动态进行的。例如,用户需要
浏览 2
提问于2017-06-20
得票数 1
1
回答
数据
流Apache beam Python作业停滞
在
Group by step
google-bigquery
、
apache-beam
、
dataflow
我正在运行一个
数据
流作业,它从
BigQuery
读取,并在8 GB of data and result in more than 50,000,000 records.周围扫描,现在按步骤
分组
我想
根据
一个键进行
分组
但是
在
连接列的连接大小超过100MB之后,为什么我必须在
数据
流作业
中
执行该group by,因为该group by不能在
Bigquery
level due to row size limit of 100MB.
中<
浏览 0
提问于2019-08-18
得票数 0
1
回答
如何使GCP
数据
融合MySQL复制与DateTime列良好地工作
mysql
、
google-cloud-platform
、
google-bigquery
、
replication
、
google-cloud-data-fusion
通过跟踪MySQL,我成功地将
BigQuery
表很容易地复制到
中
。但是,DateTime列存在一个问题。所有DateTime列都使用1970年代的日期复制到
BigQuery
中
。下面是原始的MySQL
数据
:
浏览 6
提问于2021-04-07
得票数 1
回答已采纳
1
回答
google
数据
流写入
bigquery
表性能
google-cloud-dataflow
我将处理
数据
和
输出的性能与
Bigquery
表和文件进行了比较,差异是显著的:写入13个文件需要7分钟,写入13个
bigquery
表需要超过60分钟;请帮帮忙,这可能是我想要做的事情的止步。
浏览 1
提问于2015-04-17
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌推出Bigtable联邦查询,实现零ETL数据分析
谷歌今天更新了Firebase
使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
什么是数据仓库,以及我为什么需要它?
从Lambda到无Lambda,领英吸取到的教训
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券