腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
为什么
BigQuery
在
处理
非
大型
数据
时
如此
缓慢
?
、
我们发现
BigQuery
在
大于100M行的
数据
集上工作得很好,其中“初始化时间”并没有真正生效(或者与查询的其余部分相比可以忽略不计)。然而,在任何情况下,它的性能都相当慢和差,这使得它(1)不适合在交互式BI工具中工作;(2)不如其他产品,例如Redshift甚至是
数据
大小
在
100M行以下的ElasticSearch。实际上,我们的组织中有一位工程师正在评估一项技术,该技术可以
在
大约1000个用户的分析产品中对1M到1亿行之间的
数据
进行查询,他的反馈是,他不敢相信<e
浏览 43
提问于2017-02-24
得票数 23
回答已采纳
2
回答
BigQuery
检索时间慢
、
BigQuery
在
处理
大型
数据
集方面速度很快,但是从
BigQuery
检索
大型
结果的速度一点也不快。在生产中,我看到当返回~1Mn行时,这个过程大约需要90秒。很明显这其中的一些原因可能是网络流量..。有没有其他人在返回结果
时
遇到过
如此
缓慢</
浏览 2
提问于2016-12-07
得票数 1
回答已采纳
3
回答
以高效的方式从
BigQuery
读取到Spark?
、
、
、
当使用从
BigQuery
读取
数据
时
,我发现它首先将所有
数据
复制到Google Cloud Storage。然后将这些
数据
并行读取到Spark中,但当读取大表
时
,复制
数据
阶段需要很长时间。那么有没有更有效的方法将
数据
从
BigQuery
读取到Spark中呢? 另一个问题:从
BigQuery
阅读由2个阶段组成(复制到GCS,从GCS并行阅读)。
浏览 6
提问于2017-01-04
得票数 7
回答已采纳
1
回答
如何删除字符串的第一个字符,并在
BigQuery
中将剩余的值视为整数
目前,我正在使用一个
在
BigQuery
中预先填充的
大型
数据
集。我有一列orderID,它的设置如下: o377412876、o380940924等,它存储
在
一个字符串中。我需要做以下工作,但遇到了一些问题:然后,我将针对这些值运行一个联接。现在,
在
Python、R或其他语言中进行这个操作
时
,我会非常高兴。尽管
如此
,基于客户
浏览 0
提问于2013-11-23
得票数 2
回答已采纳
2
回答
用于仪表板后端的
BigQuery
与Cloud
、
我没有多少BQ中的Gbs行
数据
,需要在这些
数据
上构建web仪表板(SQL与多个表的联接)。因此,查询速度和可靠性是主要目标。 谢谢!
浏览 8
提问于2020-08-23
得票数 18
回答已采纳
1
回答
大型
文件的
BigQuery
脚本失败
、
、
我试图使用上的脚本将一个json文件加载到中,只需很少修改即可。我加了转到MediaFileUpload.socket.error: `[Errno 32] Broken pipe`
浏览 1
提问于2016-08-23
得票数 1
1
回答
在
bigquery
中跨项目复制
数据
时
偶尔会出现性能
缓慢
的情况
当我
在
bigquery
中跨一个项目复制
数据
到另一个位于相同
数据
位置的项目
时
,我遇到了非常
缓慢
的移动,然而,与我们
在
bigquery
上复制数亿条
数据
的其他操作相比,移动
数据
需要长达2分钟,大约只有100,000条记录,而其他操作只需要几秒钟的时间,因此我想找出
为什么
这么小的
数据
集会发生这种不寻常的
缓慢
移动。
浏览 18
提问于2020-01-09
得票数 0
回答已采纳
1
回答
调用函数
时
执行非常慢
、
虽然执行过程非常
缓慢
,但我不明白为何会这样?
浏览 1
提问于2018-11-14
得票数 0
回答已采纳
4
回答
为什么
我的MongoDB查询非常非常慢?
、
、
我在工作中继承了一个
大型
MongoDB服务器,并负责弄清楚
为什么
在
它上运行的查询
如此
缓慢
。
数据
库包含吨和吨的记录(约10^9),占用约300 GiB。起初,我认为原始记录的数量可能是罪魁祸首,所以我
在
适当的字段上建立了索引。对于搜索DB中的标准的查询来说,它非常有用,但是
在
没有匹配的情况下,查询需要80到90分钟的时间。对如何
处理
这件事有什么想法吗?
浏览 0
提问于2010-11-10
得票数 10
1
回答
为什么
Windows上的文件连接速度
如此
之慢?
、
、
我正在开发一个小的实用程序来连接
大型
视频文件。主要的串联步骤是
在
Windows 7的命令行上运行类似以下内容:输入文件很大-通常每个文件7-15 The我知道我在这里要
处理
大量的
数据
,但是二进制连接需要很长的时间-对于总共大约40 an的
数据
来说,它可能几乎需要一个小时。考虑到这个过程基本上只是扫描每个文件并将其内容复制到一个新文件,
为什么
二进制复制
如此
浏览 0
提问于2012-07-28
得票数 0
回答已采纳
1
回答
:查询要
处理
的
数据
的
数据
大小
当在
BigQuery
文本框中输入查询
时
,它将立即提供查询要
处理
的
数据
的大小(例如,此查询在运行时将
处理
839 GB )。 问题1:
bigquery
如何
如此
快速地了解将要
处理
的
数据
大小。问题3:我想通过
bigquery
工具获得这个数字,并希望
在
我的项目中使用。有没有办法通过API获得这个数字。
浏览 2
提问于2013-07-05
得票数 2
1
回答
使用API将
Bigquery
数据
导出到外部应用程序的最佳GCP体系结构
、
、
、
我将以下GCP产品一起用于CRM系统: Appengine使用JSON中未经修改的查询结果响应外部应用程序。问题是导出并不经常,但是
数据
量可能很大,我不想用这些
数据
加载AppEngine。在这种情况下,还有哪些
浏览 2
提问于2022-04-16
得票数 -4
回答已采纳
2
回答
当将
数据
加载到
BigQuery
时
,当csv文件中有行提要
时
,会抱怨‘漏掉关闭双引号(")字符
.","",{} 当通过命令
BigQuery
将csv
数据
加载到bq load --replace --source_format=CSV -F"," ...
时
,会出现错误投诉。有人能给我一个
BigQuery
加载
数据
命令的解决方案吗?
浏览 6
提问于2015-11-13
得票数 10
回答已采纳
2
回答
Bigquery
和R:成本和
数据
存储在哪里?
、
我正在使用RStudio对存储
在
BigQuery
中的
大型
数据
集运行分析。该
数据
集是私有的,来自一家
大型
零售商,该零售商通过
BigQuery
与我共享了该
数据
集,以运行所需的分析。我使用bigrquery库将R连接到
BigQuery
,但是找不到以下两个问题的答案: 1)当我使用R运行分析
时
(例如,首先使用SELECT获取
数据
并将其存储
在
R中的
数据
框中),然后
数
浏览 0
提问于2018-08-10
得票数 0
2
回答
GCP
BigQuery
显示“此脚本在运行时将
处理
2TB”,用于“限制10”的简单查询。
、
当我
在
GCP
BigQuery
中为
大型
分区表选择查询
时
,我还没有点击"Run“按钮,它告诉我”这个脚本在运行时将
处理
2TB。“ 我不知道
为什么
“限制10”查询仍有这么大的成本。
浏览 8
提问于2022-04-05
得票数 0
回答已采纳
1
回答
如何构建一个稳定的系统,每天
处理
9000万行
数据
,并转换为实时服务器?
、
、
我正在为公司开发一个系统,每天用FTP为我提供销售
数据
。(不幸的是,他们没有为此提供for服务。)我必须存储和
处理
所有新的销售和员工
数据
,我必须计算员工通过销售赢得了多少积分,他们有多少徽章……(基于销售额)。我已经有了一个正常工作的系统,但我正在考虑将这些计算过程转移到云中,并在计算后仅传输点
数据
。我的系统读取所有销售
数据
并将其存储
在
MySQL中。然后,PHP脚本将原始
数据
处理
为点
数据
。我的网页不加载原始
数据
,它们
浏览 2
提问于2017-02-15
得票数 1
1
回答
Google上的ETL -(
数据
流与春季批
处理
) ->
BigQuery
、
、
、
、
我认为
BigQuery
是我的
数据
仓库需求。现在,我的
数据
在
google (cloud和BigTable)中。我已经公开了REST以从这两个方面检索
数据
。现在,我想从这些API中检索
数据
,执行ETL并将
数据
加载到
BigQuery
中。我现在正在评估ETL的两个选项(小时
数据
的每日工作频率):-
浏览 2
提问于2017-08-11
得票数 1
回答已采纳
1
回答
联合表
在
BigQuery
中的查询成本比单个表高吗?
、
、
BigQuery
成本方案当我查询一个
大型
的联合表(按日期字段进行分区并按客户端键字段进行群集)
时
,对于特定客户端的
数据
,它
处理
的
数据
似乎比我单独查询该客户端表
时
处理
的
数据
要多。相同的查询,应该是来自不同表的完全相同的
数据
;巨大的不同成本。 有谁知道
为什么
查询分区/集群联合表的成本比单个客户端特定表的相同
数据
还要高呢?我试图证明,与单独的
数据
集
浏览 8
提问于2022-07-29
得票数 0
3
回答
从MySQL加载500万行到Pandas
、
我
在
一个MySQL DB中有500万行位于(本地)网络上(
如此
快速的连接,而不是
在
互联网上)。即使与chunksize分块也将是
缓慢
的。另外,我不知道它是挂在那里还是真的
在
检索信息。 我想问一下,对于那些
在
DB上
处理
大型
数据
的人,他们是如何为Pandas会话检索
数据
的?例如,运行查询
时
,返回一个带有结果的csv文件并将加载到Pandas中会更“智能”吗?听起来比你需要的要多。
浏览 0
提问于2015-07-29
得票数 8
回答已采纳
1
回答
Python
BigQuery
客户端多次执行相同的查询
、
、
我遇到的问题是,当我查询
大型
数据
(35M行,22 got
数据
)
时
,同一个查询在后台执行了多次(例如400次)。我知道
数据
在
某种程度上是被分割/洗牌的。这大大增加了查询成本。我是这样查询
数据
的:query_job = bqclient.query我正在使用google-cloud-<e
浏览 10
提问于2022-08-30
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌BigQuery ML正式上岗,只会用SQL也能玩转机器学习!
Google BigQuery新机器学习推理引擎支持外部自定义模型
Google Cloud 发布 COVID-19 数据集,可构建 AI 模型来对抗疫情
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
谷歌正式发布数据可视化工具,提供超500个数据源,主要还免费!
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券