Bigtable提高读取行的速度

文章/答案/技术大牛

发布

1回答

google-cloud-bigtable、bigtable

我正在做一个实验，与使用Postgres相比，测试Bigtable的能力。我已经建立了一个包含50000行和500列的表，我正在尝试使用以下代码读回所有这些数据 # Create the Row Keysstart_key = f"tu7行的读取率大约是每秒200-600行我想知道，因为Bigtable文档说它支持“每秒高达10,000行的

浏览 22提问于2021-01-21得票数 0

2回答

Cloud Spanner中的高性能计数器

google-cloud-bigtable、google-cloud-spanner

我正在寻找一些项目的运行计数，如喜欢和评论的帖子。写入速率可以很高，例如1K likes/sec。即使对结果集进行了索引，使用SELECT COUNT似乎也是不可行的，因为可能需要计算数百万行。我正在考虑使用分片计数器方法，其中特定的计数器(比如给定的帖子)由N分片/行组成。递增计数器将递增一个分片行的列值，而读取计数器将读取所有分片行并对计数值求和。对于扳手，这样的方法会有什

浏览 0提问于2019-03-19得票数 2

1回答

关于Bigtable性能的一般指导

google-cloud-platform、hbase、grpc、google-cloud-bigtable、bigtable

对于运行在GKE上的示例应用程序，我使用的是单个节点Bigtable集群。自动标度功能已经包含在客户端代码中。有时，我在接电话时会感到速度慢(>80 for )。为了进一步研究它，我需要对下面的Bigtable行为做一些澄清。我正在使用服务帐户身份验证，但是更新令牌<em

浏览 3提问于2021-01-14得票数 0

2回答

MySQL:合并速度查询

php、mysql、sql、lamp

拥有超过1000万行的MySQL数据库。我目前正在显示前十个结果，，然后是，计算匹配的总数。前十个结果的内容在PHP中得到了反映。然后显示，，显示点击总数。第一次声明(fast)：第二项声明(慢速)：我想结

浏览 2提问于2022-04-01得票数 0

2回答

不同DBMS的可扩展性比较

mysql、scaling、database、bigtable

在将机器添加到运行的计算机集群中时，性能(读取查询/秒)会以什么因素提高：真相在哪里？

浏览 2提问于2010-06-17得票数 3

回答已采纳

1回答

客户端在深度复制上花费了很长时间

google-cloud-platform、google-kubernetes-engine、bigtable、google-cloud-bigtable

我有一个Python用户，有时从Bigtable中读到的东西非常慢。它从Bigtable读取一行，执行一些计算，并偶尔将一些信息写回，然后继续。问题是，在GCE中的1 vCPU VM中，它的读写速度非常快，消费者会咀嚼100到150条消息/s，没有问题。Bigtable在europe-west1-d中，但是调度在同一区域(d)节点上的豆荚具有与其他区域中的节点相同的性能，

浏览 0提问于2018-07-30得票数 0

回答已采纳

1回答

Cloud如何读取非连续行？

google-cloud-platform、google-cloud-bigtable、bigtable

给定大量已知的行键。bigtable如何读取这些行(而不是扫描操作)？它是一个接一个地读行，还是一遍一遍地读？如果我想要读取的非连续行数量很多，那么是否应该分别进行并行或并行命中来读取每个行，还是将所有行交给bigtable，即“批读取”？

浏览 10提问于2022-10-19得票数 1

回答已采纳

1回答

如何将BigTable表数据写入熊猫数据？

python、google-cloud-platform、google-cloud-bigtable、bigtable

我正在尝试读取一个GCP BigTable表给熊猫数据，目前，我用于从BigTable中获取行的函数是read_rows()，它返回read_rows()。代码：instance = client.instance(bigTable_parms['instance_id']) table

浏览 11提问于2022-03-30得票数 0

回答已采纳

1回答

通过数据流扫描(特定列族的)整个bigtable

google-cloud-bigtable

每天我们都有一个数据流作业，它扫描整个bigtable (属于一个特定的列族)，并将扫描的数据转储到GCS。我们一直在试验工作节点的数量与扫描整个表的速度。通常，作业扫描约100M行(表中还有更多行，但我们将范围设置为24小时窗口)，扫描数据的大小约为1TiB。虽然bigtable节点的数量是固定的(例如，80个)，但我们以增量的方式将数据流工作节点(n1-standard-1)

浏览 0提问于2016-12-21得票数 0

1回答

BigTable -删除/跳过前N行

python、bigtable、google-cloud-bigtable

是否可以删除/跳过BigTable中的前N行？我正在尝试对具有BigTable输出的API端点执行分页。最近的过滤器是：CellsRowOffsetFilter (BigTable Documentation) 但是，此筛选器仅跳过单元格的N个版本，而不跳过输出行。可以使用迭代器删除前N行，但这将消耗BigTable的读取吞吐量，这似乎不是一个好主意。

浏览 11提问于2019-02-01得票数 1

回答已采纳

2回答

当构建端为空时，为什么/何时Server要计算内部散列的探测端连接？

sql-server、execution-plan、sql-server-2017、parallelism

我对内部散列连接的期望是，如果构建输入为空，则不应执行探测端，因为联接不能返回任何行。上述示例与此相矛盾，并从表中读取了1,000万行。这将使查询的执行时间增加2.196秒(99.9%)。附加观测使用OPTION (MAXDOP 1)，执行计划不会从#BigTable读取任何行。ActualExecutions是哈希连接内部所有操作符的0。对于查询SELECT * FROM #EmptyTable E INNER HASH JOIN

浏览 0提问于2019-12-05得票数 11

回答已采纳

1回答

客户端性能问题

google-app-engine、google-cloud-platform、bigtable、google-cloud-bigtable、google-cloud-python

我遇到了客户端的性能问题。我正在开发一个可以写入GCP Bigtable实例并从中读取的烧瓶API。API使用python客户端与Bigtable通信，并部署到GCP灵活环境中。在低流量的情况下，API工作正常。然而，在负载测试期间，与不与Bigtable通信的类似端点相比，读取和写入Bigtable的端点面临着巨大的性能下降。而且，即使App中关闭了健康检查，也有很大比例

浏览 1提问于2017-10-14得票数 1

1回答

BigTable聚合数据

database、google-bigquery、google-cloud-bigtable

我一直在尝试使用BigTable和BigQuery的连接器。当我尝试从100万行测试查询性能时，我得到了查询速度~50秒的结果。我的SQL： DATE(geo_table_cell.timestamp) AS day, 来自BigTable的聚合数据的最佳解决方案是什么？(来自ElasticSearch的</e

浏览 1提问于2021-05-28得票数 0

回答已采纳

1回答

在多个astropy表上使用vstack时，如何避免内存崩溃

python、astropy

我需要通过合并许多较小的表来构建一个大的astropy表。我以bigTable = vstack([bigTable, smallTable])的身份反复使用vstack，但内存爆炸的速度非常快。每个单独的表通常是9列乘以~1000行，并且在5或6次迭代之后，内存>100 GB

浏览 0提问于2018-04-06得票数 2

4回答

计算其中一个引用的三个项的最快方法(使用python)？

python、hash、dictionary

我有一个多列(13列)空格分隔的文件(大约5个million+行)，如下所示：我有一个基于字典的基本实现countshash={} cont =

浏览 1提问于2012-08-22得票数 4

1回答

将Google存储数据加载到bigtable中

python、google-cloud-platform、google-cloud-bigtable

是否有简单的方法或示例将Google Cloud Storage数据加载到bigtable中？但是我找不到一个简单的方法去做那件事！我已经尝试过来自python的代码，它的工作效率很高，但是它只是一行一行地读取到bigtable中，这对我来说很奇怪。任何帮助都将不胜感激。

浏览 2提问于2017-11-17得票数 3

回答已采纳

1回答

具有少数列的Cassandra行读取性能退化

database、performance、cassandra

我有一个Cassandrav1.2.5版本，它在从一行读取数据时会出现性能下降，其中只有少数或零列，但以前添加和删除了许多不同的列。为了进行测试，我执行以下操作：再次测量读取速度100次-平均每次读取282.4 m

浏览 0提问于2013-06-15得票数 1

回答已采纳

1回答

对BigTable中的多个列进行筛选

go、google-cloud-platform、google-cloud-bigtable、bigtable

来自CBT的文档timestamp := bigtable.Now()mut.Set(columnFamilyName, "os_name", timestamp, []byte("android")) bigtable.FamilyFilter(columnFamily

浏览 0提问于2020-08-14得票数 0

3回答

Mysql IN() vs UNION ALL性能

mysql、sql、database

如果有的话，有人能解释一下以下两个查询的性能特征的差异吗？我感兴趣的是关于它们的性能特征如何相同或不同的讨论。您可以假定users.status上有一个索引

浏览 3提问于2018-10-11得票数 2

1回答

指定灵活环境的区域

google-app-engine、google-cloud-platform、google-cloud-bigtable、app-engine-flexible

如果没有，还有什么可供选择的？在我的例子中，我的客户是在一个不同的区域，通过将它转移到同一个区域，性能有了很大的提高。但是，性能问题仍然存在，文档中的建议是

浏览 2提问于2017-10-17得票数 1

回答已采纳

点击加载更多