针对大数据的更新查询优化
是指在处理大规模数据集时，通过优化更新和查询操作的性能，提高数据处理效率和响应速度。以下是对该问题的完善且全面的答案：
概念： 针对大数据的更新查询优化是指通过使用合适的技术和策略，对大规模数据集进行更新和查询操作的性能进行优化，以提高数据处理效率和响应速度。
分类： 针对大数据的更新查询优化可以分为以下几个方面：
- 数据分区和分片：将大规模数据集分割成多个较小的分区或分片，以便并行处理和查询。
- 索引优化：通过创建适当的索引结构，加速查询操作的速度。
- 缓存机制：利用缓存技术，将频繁访问的数据存储在内存中，减少磁盘IO操作，提高查询性能。
- 数据压缩和存储格式优化：使用高效的数据压缩算法和存储格式，减少存储空间和IO开销。
- 查询优化器：通过优化查询计划，选择最优的执行路径，提高查询性能。
优势： 针对大数据的更新查询优化的优势包括：
- 提高数据处理效率：通过优化更新和查询操作，减少数据处理时间，提高数据处理效率。
- 加速查询响应速度：通过优化查询操作，减少查询时间，提高查询响应速度。
- 节约资源成本：通过优化数据处理操作，减少资源的使用，降低成本。
- 支持实时数据分析：通过优化查询操作，实现对大规模数据集的实时分析和查询。
应用场景： 针对大数据的更新查询优化适用于以下场景：
- 大规模数据集的存储和处理：当需要处理大规模数据集时，通过优化更新和查询操作，提高数据处理效率和响应速度。
- 实时数据分析：当需要对大规模数据集进行实时分析和查询时，通过优化查询操作，实现实时数据分析和查询。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据仓库 ClickHouse：腾讯云 ClickHouse 是一种快速、可扩展的列式数据库管理系统，适用于大规模数据集的存储和分析。详情请参考：https://cloud.tencent.com/product/ch
- 腾讯云数据分析服务 TDSQL-C：腾讯云 TDSQL-C 是一种高性能、高可用的云数据库，适用于大规模数据集的存储和查询。详情请参考：https://cloud.tencent.com/product/tdsqlc
- 腾讯云数据缓存 Redis：腾讯云 Redis 是一种高性能的分布式内存数据库，适用于缓存频繁访问的数据，提高查询性能。详情请参考：https://cloud.tencent.com/product/redis
- 腾讯云数据压缩服务 TSZ：腾讯云 TSZ 是一种高效的数据压缩服务，适用于减少存储空间和IO开销。详情请参考：https://cloud.tencent.com/product/tsz
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行决策。
相关·内容
2回答
我试图创建一个网站，返回一个随机有趣的网站。我这样做的方式是创建一个大的词库(超过10,000个单词)，从其中随机选择几个单词，然后将它们发送到搜索引擎(Bing，Google等)。
原始的词库单词将由网站的用户根据他们对网站的排名进行排名，然后不好的单词将从词池中删除。在第一次查询的结果之后，将对返回的网站集进行一些更多的优化，以从中选择最好的网站。
我需要的是从一开始这个工作是一个下降的单词列表，这是好的，并将给出许多结果，当与其他单词配对。有没有一个地方我可以找到一个大的单词列表，可以返回更好的网站？
所以，我正在寻找的是一个(非常大的)搜索优化的单词列表，有人有想法吗？
也许如果有人有
浏览 2提问于2011-05-19得票数 5
回答已采纳
2回答
我有使用SQLserver的网络应用程序。在db中，我有一个大表(3 3GB)。所有数据库都有4 4GB。问题是，来自另一个表(不是很大的表)的查询有时非常慢。有时查询需要几秒钟，但有时相同查询需要几分钟。
我的问题是:一个大表可以减慢来自另一个表的查询速度吗？
因为我使用的是sql-server-2008 express edition，有1 GB RAM和10 GB数据库大小的限制，这会有问题吗？更改sql server版本能解决我的问题吗？大约有50个用户一直在使用应用程序。
浏览 1提问于2014-01-15得票数 0
我们公司将实现大查询。
我们在Big Query中看到了很多缺点，比如
每天只允许1000个请求。不允许更新和删除。
以此类推...
你们能强调一些更多的缺点并讨论以上两点吗？
请分享在实施Big Query期间和之后遇到的任何问题。
提前谢谢。
浏览 0提问于2016-03-02得票数 0
1回答
我有一个大的令人讨厌的枢轴查询，我是通过C#通过ADO.NET运行的，我在两个地方使用它，在一个地方我想要数据，但是在另一个地方，我只想要结构(没有数据)。因此，在我在where子句中添加的查询中：
1 = @test
因此，在只需要表结构的查询中，我将@test设置为2，这很好。但是，在查询中，我希望将数据设置为1，但该查询会超时(5分钟后)。如果我将sql拖到sql服务器中并手动设置参数，它将在3分钟内返回。如果我将1 = @test从我的C#应用程序中完全删除，它将在3分钟内恢复正常。如果我在我的1 = 1应用程序中硬编码C#，它会在3分钟内恢复正常。
我还在这个查询中添加了一个日期参数
浏览 1提问于2015-11-17得票数 0
回答已采纳
2回答
我想知道如何评估一个工具而不是另一个工具。
我主要关注的问题如下：
在谷歌的数据存储中，我们定义了“种类”。每个“实体”都有“属性”。
然后，数据存储后端使用这些属性为将来的查询索引数据。查询本身在SQL中使用了几乎相同的思想，尽管语法不同，用于筛选数据并查找我们想要的内容。
如果对每个属性进行索引，则索引元数据将比实际数据还要大。
使用它的SQL方言。而且它是完全管理的，这样用户就不用担心缩放问题了。
所以我的问题是，使用nosql数据存储的目的是什么，花费这么多的计算周期和索引存储，这样我们就可以像在bigquery数据库中一样自然地查询它了？
请与我分享您的评估过程。与我分享我的理解中缺
浏览 6提问于2015-09-22得票数 7
回答已采纳
1回答
我有数以千计的SQL update语句需要在一个大表上执行。update语句需要几分钟才能执行，如果可能的话，我需要以一种更有效的方式运行这些语句，以便加快执行速度。
有哪些选项可以让这些更新更快？
在SQL Server2008 R2上运行
一个这样的查询：
UPDATE myTable
SET Col1 = 'abc', Col2 = 123, Col3 = '2015-01-01 00:00:00.000'
WHERE ID = 123456
浏览 1提问于2015-09-10得票数 0
我正在将数据从firebase导入到大型查询中，该查询在onWrite事件和使用table.insert函数时运行良好。现在我想在针对onUpdate事件的大型查询中更新数据，但table.update函数不可用，也不能以其他方式进行working.suggest。下面是我的代码
exports.updatetobigquery =
functions.database.ref('/mn_users/{userId}/').onUpdate(event => {
const dataset =
bigquery.dataset('KHUSHUApp'
浏览 2提问于2017-08-16得票数 1
1回答
是的，我只是想知道使用纯JS编写的MySQL或MongoDB驱动程序是不是一个好主意。我的意思是，当运行一个100个用户/月的小数据库的小应用程序时，这应该不是问题，但是如果是重负载/非常大的数据库呢？
有没有我可以编译的NodeJS的专业MySQL和Mongo驱动程序？这些工具的性能应该要好得多。
还是我说错了？例如，Mongoose使用纯JS编写的驱动程序。这是否足以有效地查询5亿个文档？
如有任何建议或建议，我们将不胜感激！
谢谢
编辑：
所以感谢你们的回应。好吧，我仍然是一个，但对此不确定:)。我的意思是，用Python或Java甚至C#编写驱动程序肯定是有意义的，但这些语言比JS更强
浏览 0提问于2013-06-23得票数 0
2回答
我有一个应用程序，它在登录后的第一个页面为用户提供了大量数据。对数据库的查询需要很长时间--比方说10秒。数据库在SQL Server2008中，查询运行被构造为Java中的预准备语句。但是，需要显示的数据通常每天只更改一次。所以-如果我可以缓存这个结果，并更快地显示，那将是理想的。
然而，我真的不确定我需要做什么来减少这10秒的等待-每次我加载页面时都会发生同样的延迟。是否需要执行某些操作才能确保SQL Server将结果缓存到查询？当然，在第二次加载的时候似乎也不会更快-我应该从哪里开始探索呢？
非常感谢大家的帮助！
浏览 2提问于2011-08-12得票数 5
回答已采纳
我需要大查询用户的任何日志或数据，如何在事件中以非手工方式查阅？我需要火基分析组和观众数据
浏览 5提问于2020-05-27得票数 0
回答已采纳
我只能在Cassandra数据Base.When的更新查询中使用=和IN，我使用的是<，>或类似的，它为select语句提供了error.But，它是working.can any one tell，如何在更新查询中使用这些运算符。
浏览 0提问于2016-06-27得票数 1
我需要编写一个查询来检索一个大的ids列表。
我们确实支持许多后端(MySQL、火鸟、SQLServer、Oracle、PostgreSQL ...)所以我需要写一个标准的SQL。
id集的大小可以很大，查询将以编程方式生成。那么，最好的方法是什么呢？
1)使用IN编写查询
SELECT * FROM TABLE WHERE ID IN (id1, id2, ..., idn)
我的问题是。如果n非常大，会发生什么？另外，性能如何？
2)使用OR编写查询
SELECT * FROM TABLE WHERE ID = id1 OR ID = id2 OR ... OR ID = idn
我认为这
浏览 1提问于2011-04-27得票数 206
回答已采纳
如何使用SQL (大查询风格)在已经存在的JSON中添加一个新的key/val对。
到某种程度上
浏览 13提问于2022-08-26得票数 0
这可能不是询问数据库/数据仓库问题的合适平台，但由于两者之间有许多共同之处，因此我将提出问题。
我才刚刚开始学习数据仓库，我还需要做一个项目。我想对复杂查询的类型，可以与我的项目完成一些建议/想法。
我有两个数据库。第一个数据库包含表Customer、Purchase、Products和Promotions。第二个表包含Supplier、Product和Order表。
我可以执行什么样的复杂查询？
浏览 3提问于2016-10-02得票数 0
3回答
我有一个在15秒内返回超过100000行的视图。该视图返回一个字段ElementId。我有一个具有主键Id的表元素。
SELECT MV.ElementId
FROM MyView MV
当我在视图和表之间应用连接时，我的查询非常慢(> 4分钟)，如下所示：
SELECT E.Id
FROM MyView MV
INNER JOIN Elements E ON E.Id = MV.ElementId
WHERE E.CustomerId = @CustomlerId
为什么两个查询的执行时间会有这么大的差异？如何优化第二个查询？
我使用SQL Server 2014
浏览 1提问于2016-10-20得票数 0
在领域中，使用Reacti原住民进行大容量更新的最有效方法是什么？
例如，我希望查询满足特定筛选器的特定领域对象中的某些记录，然后对从查询返回的每个记录更新一个属性。
我在这里看到了几个Swift和Java示例，但我认为这里使用的方法链接并不适用于，尽管我可能弄错了。
浏览 1提问于2016-05-19得票数 1
回答已采纳
我做了一个相当大的社交网络类型的网站，只使用内联SQL语句来访问数据库(我对这种语言还是个新手，所以还是退下吧！)
与使用大型XSD DataSet文件处理所有查询相比，使用这种方式是否存在性能问题？或者这只是一个糟糕的设计？
谢谢!
浏览 3提问于2009-03-05得票数 1
回答已采纳
1回答
我有一个应用程序，它本质上接受一个列表(由用户提交)，并为列表中的每个项目返回一组数据。我的主要问题是，我有一个很大的集合，我已经存储在内存中，以避免每次查询数据库的成本，但我的查询每次仍然需要近.5秒，这太长了。
该集合是美国和CA的邮政编码，有近100万条记录。来自用户的列表是从几十条记录到几千条记录的任何地方，我需要为每个记录做这件事，所以对于大的列表，它变得非常耗时。下面是查询：
var resultList = PostalCodeList.Where(p => p.postalcode == userPostalCode).ToList();
邮政编码列表还包含其他相关数据(
浏览 0提问于2014-12-23得票数 1
有没有像我们在BI软件(即Power Bi或Tableau)中所做的那样连接数据，然后从它们中进行查询的等效方法？
澄清一下：
我们在编程语言中使用显式连接，例如new_table = inner_join(a,b, by = c)，所以新表是计算的和最终的，但是在BI工具中，我们引入了数据模型，你可以在图片中看到一个模型，它现在没有计算，然后我们在没有任何显式连接的情况下执行多表查询。软件本身决定如何及时从数据模型中检索数据。
HR_tables %>% group_by(DEPARTMENTS$department_name) %>% (sum(EMPLOYEES$s
浏览 4提问于2021-11-18得票数 0
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
浏览 10提问于2022-12-02得票数 1
1回答
Kafka查询流
、、
我有一个业务需求，其中我需要有12小时的窗口，其中一个需要查询流数据。在12小时内，数据量约为1亿条记录。此外，我需要保持所有事件的顺序。使用Streams API，我构建了一个系统来实现这一点。音量似乎不是问题。真正的问题是，企业希望在事件和状态存储中进行搜索，几乎每个状态存储都是如此。搜索不是基于关键字的，而是基于值中的某些字段。
我尝试了KSQL服务器，并尝试使用25M条记录的数据集运行简单的查询，在8小时的窗口内运行查询几乎需要240秒才能完成搜索。(现在我使用的是单个节点和单个分区。)
我考虑的另一种方式是将Elastic Search连接到流和状态存储，然后在它们上运行查询，但我不
浏览 0提问于2018-10-14得票数 1
我试图使用GCP中的数据丢失预防工具来自动标记InfoTypes，如PhoneNumber、GCS中的数据和大查询外部表上的EmailId，这样我就可以在Dataplex和Dataplex中获得这些标记。现在的问题是
如果我选择除大查询表(GCS、Data等)以外的任何源，则禁用将GCP DLP检查结果发布到数据目录的选项。
如果选择“大查询表”，则启用“数据目录发布”选项，但当我尝试运行检查作业时，其错误会显示“不支持外部表进行检查”。令人惊讶的是，它只支持内部大型查询表。
问题是，我对GCP的理解--数据目录集成只适用于内部大查询表吗？我在这里做错了什么，GCP文档也没有提
浏览 6提问于2022-04-07得票数 1
回答已采纳
1回答
我有一个相当大的XML文件(~11MB)，并且我使用TinyXPath来定位一些节点。尽管我试图定位的节点稍后不能与DOM中的其他节点混淆，但XPath查询需要几分钟才能返回。
下面是我的示例XML：
<RootElement>
<Header>
<Location>1234</Location>
... maybe a dozen sibling nodes
</Header>
<EventReport>
<SomeEvent>with a few dozen child
浏览 2提问于2015-01-28得票数 0
尝试在7 7gb表格模型SSAS tabular 2017上改善/优化查询响应时间。
服务器是一个虚拟机，有128 VM内存，8个插槽，16个核心。根据coreinfo.exe，没有NUMA节点。
最大的表大约有4200万行，第二大的表大约有2400万行。查询响应时间通常在5-15秒的范围内，这对我来说似乎很长。
当我在本地excel中对我的模型运行查询时，核心0-3挂在100%，而其他的保持在0-ish。
这种核心利用率模式正常吗？我是否应该查看可以将查询工作分布到所有核心的服务器设置？这些设置在哪里？
浏览 1提问于2018-06-06得票数 0
2回答
我已经开始用PHP编写一些相当大的和/或令人困惑的MySQL查询。我试图在冗长和性能之间找到一个平衡点。性能是否与此有关是我的问题。
它是我的查询中的空白和MySQL注释。对我来说，PHP会在发送查询之前过滤查询中不重要的空格，甚至可能过滤查询中的mysql注释，但我不确定...
空格和注释会不会从PHP到MySQL，如果是这样的话，它在性能方面真的很重要吗？
我并不是在寻找硬性的性能基准，也不是任何我想在总体上了解更多信息的东西。
浏览 3提问于2009-01-15得票数 0
回答已采纳
我正在使用mysql表，并希望在一个查询中提取超过1000万的数据用于报告目的。
我的表也可能包含外键。我使用hibernate查询来获取数据。仅查询部分就需要大约20-30秒。
有什么方法可以优化这一点吗？在mysql中建立表的索引会有什么帮助吗？
浏览 17提问于2017-02-03得票数 1
1回答
我们正在尝试将我们的数据库(mysql)移动到amazon redshift (数据仓库)，并且我们在更新仓库数据库时遇到了一个问题。我们已经在db上启用了常规日志记录，然后我们在redshift上重放了常规日志中的所有这些查询。所有的更新查询大约需要6-7秒。我正在寻找一些方法，以更快的速度执行这些更新？Amazon redshift内部使用postgre db，如果有人能为redshift/postgre自己解决这个问题，那就更好了。不过，更快进行更新的一般方法也会有所帮助。我尝试过的一种解决方案是将所有更新合并到一组删除和插入中。因此，单个表上的所有更新都将转换为具有组合where子句的
浏览 0提问于2013-05-02得票数 0
2回答
我有机会以两种方式插入大量数据(大约每5分钟30行)：
( A)使用PHP构建一个insert函数，对于每一个新的数据，只需调用该函数并插入大约30次
( B)使用PHP并通过为每个总线追加SQL字符串构建一个大查询，然后只插入一次
其中哪一个更有效率？
浏览 13提问于2014-01-12得票数 0
回答已采纳
我有一个非常大的表，有很多行和很多列(我知道这很糟糕，但让我们把这个放在一边)。
具体地说，我有两个列- FinishTime, JobId。第一个是行的结束时间，第二个是它的id (不是唯一的，但几乎是唯一的-只有很少的记录具有相同的id)。
我有jobid索引和finishtime索引。
我们总是插入行，主要是按完成时间排序。我们还定期更新每个索引的统计数据。
现在来看问题：
当我使用filter jobid==<some id> AND finishtime > <now minus 1 hour>运行查询时-这个查询花费了很多时间，当显示估计的执行计划时，
浏览 3提问于2012-12-06得票数 0
回答已采纳
在我未来的社交应用程序中，权限问题不大。
平台将不会释放数据库(谷歌的BigTable)。
在我的应用程序中，每个用户都有组(例如:朋友、合作者、家人……)。在群组中有一些朋友(比如在Facebook中)。并且可以发布一些内容(新闻，短文本，...)只为这群人准备。如果我的组中有用户，那就是我的朋友。就像Facebook一样，但群组更多。
我的想法是，每个用户都可以(在自己的“feed”上)在一个页面上看到所有朋友的所有最后内容(比如Facebook的热门新闻)。但我在创建简单查询时遇到了问题。
例如：
SELECT * FROM News WHERE group_key IN [list_o
浏览 0提问于2011-01-21得票数 0
2回答
假设我想进行大容量更新，将a=b设置为a值的集合。这可以很容易地通过一系列UPDATE查询来完成：
UPDATE foo SET value='foo' WHERE id=1
UPDATE foo SET value='bar' WHERE id=2
UPDATE foo SET value='baz' WHERE id=3
但现在我想我想大批量地做这件事。我有一个包含I和新值的二维数组：
[ [ 1, 'foo' ]
[ 2, 'bar' ]
[ 3, 'baz' ] ]
是否有一种有效的
浏览 6提问于2015-02-25得票数 10
回答已采纳
在对查询进行性能调优时，是否有可能减少执行时间但增加逻辑读取次数？这似乎发生在我的一个查询中，其中我对连接和分组到一个大表上进行了修改(我认为，主要的更改是先执行Group BY，然后对派生查询执行join )，这加快了执行速度，但增加了逻辑读取的数量。为什么会这样?什么类型的更改可能会导致这种情况？
SQL Server
浏览 0提问于2012-11-30得票数 0
回答已采纳
5回答
我在使用T-SQL时遇到了一些问题，基本上我必须运行一大堆查询，比如：
SELECT TOP 30 * FROM [table]
WHERE firstfield IS NOT NULL
AND secondfield IS NOT NULL
AND (firstfield LIKE '%substring%' OR secondfield LIKE '%substring%')
这是从SqlCommand上的超时设置为90秒的C#.NET程序运行的，对于大多数查询(搜索罕见或不存在的术语)，它都达到了超时。
这样做的问题当然是它非常慢，
浏览 0提问于2011-07-11得票数 3
回答已采纳
有没有办法可以查询在列表中找到多个ID之一的任何数据？
例如，我有一个包含groupIds的列表，我需要查询以查找落入这些groupIds中的所有帖子。我似乎找不到任何类型的‘或’或‘包含’运算符，除非我使用扫描。
有什么办法可以绕过这个问题吗？
浏览 6提问于2021-05-26得票数 0
1回答
来自多个MySQL数据库的ETL
、、、、
我有一个系统，可以从具有不同模式的多个MySQL数据库中提取数据，执行许多查询(使用连接)，并将输出加载到另一个MySQL数据库。
这些查询曾经只是一个快速修复，但它们已经增长到超过10000行，从而阻塞了源数据库。
我正在通过分析SQL查询来设计一个有效的ETL管道，但是有没有什么临时的解决方案，比如可以分析查询并减少到达所需模式的步骤的工具？
任何帮助都是救命稻草:)
浏览 3提问于2018-01-18得票数 2
1回答
这是MongoDB上的一个很常见的问题:什么时候嵌入，什么时候引用。
然而，在我的例子中，这似乎是一个进退两难的问题。我有一个文档，它有一个引用，我可以在其中嵌入它，但它会花费我磁盘的大小。但如果我做一个参考，它会给我带来相当大的性能成本。
下面是一个例子，假设我有一个带有'detail‘的成员作为我的问题：
Member: {
_id: "abc",
detail: {
name: "Stack Overflow",
website: "www.stackoverflow.com"
浏览 2提问于2012-08-04得票数 2
回答已采纳
我在一个项目中工作，在这个项目中，我必须每天存储与每个用户的用户活动相关的事件，以便以后分析。我将获得带有时间戳的事件流，稍后将在此数据上运行数据流作业以进行分析，以获取每个用户的统计数据。我正在探索大表来存储这些数据，其中时间戳将作为每一行的关键字，稍后我将运行范围查询来获取单日数据并对其进行处理。但是，在浏览了几个资源之后，我发现有了时间戳的行键，大表就可以进入热点了。无法将userid提升为行键中的键以避免此情况。解决此问题的任何替代方法或任何其他可在此用例中提供帮助的存储引擎。
用例:用例是我有用户活动数据，比如印象和流中的点击量。根据规则，我必须在一定的持续时间内从这些流中聚合数据，
浏览 2提问于2020-03-31得票数 0
1回答
我开始和Netezza合作处理每张桌子上的数百万张唱片。我一直在网上阅读如何优化表，以便加载数据并在其上运行查询相对较快，我有几个问题。
1)我读到的一件事是，在创建表时选择的发行版将影响查询表的速度。在大多数情况下，是否最好在主密钥上分发？假设没有主键，而是表中有外键，那么在外键和外键上分发比较好吗？
2)我读到了通过运行这个查询可以看到表的倾斜的方式(我猜这是基于发行版的)：
SELECT count(*), datasliceid from SCHEMA.TableName group by datascliceid ordery by datasliceid
因此，在这样做的时候，我注
浏览 0提问于2018-10-19得票数 1
回答已采纳
我使用sort和rownum进行查询，以获得大表中的前N条记录(超过2100万条记录)。我使用order和rownum来选择n个最近的记录，如下所示。我在可以为空的create_date列上定义了索引，但执行时间超过30秒。这一次我怎么改进呢？
select * from(
select *
from my_table t
order by t.create_date
)
where rownum<N
解释计划：
----------------------------------------------------------------------------------
浏览 12提问于2017-08-20得票数 0
2回答
我正在运行具有较大结果集(300 K行)的几个查询，并以链式方式将它们插入表中：
我将数据大容量插入到Table0中，然后从Table0读取数据，将数据大容量插入到Table1中，从Table1插入到Table0 2等。在读取数据时，我使用ADO.NET命令在后台触发一个exec_sql存储过程。
我经历了一个有趣的现象。当我重新创建数据库并在几个表上运行整个过程时，每个表大约需要20秒。但是，在后续的每次执行过程中，查询只需10秒即可执行。在插入数据之前，表总是被截断，这样数据量就不会增加。
起初，我认为这与缓存的执行计划有关，所以我在第二次运行后使用DBCC FREEPROCCACHE清除
浏览 5提问于2011-04-01得票数 2
回答已采纳
1回答
我正在对特定的日期范围运行一个相当大的查询。查询大约需要30秒，除非我的查询范围是10/01/2011-10/31/2011。由于某些原因，这个范围永远不会结束。例如，01/01/2011-01/31/2011，以及几乎所有其他范围，都会在预期时间内完成。
此外，我注意到，做较小的范围，比如一周，比做较大的范围需要更长的时间。
浏览 0提问于2011-11-17得票数 1
1回答
我必须索引日志记录从enterprice networks.In当前执行的每一个协议，有索引文件作为年/蒙/天/ lucene文件，我想知道如果我只使用一个单一的lucene索引文件，每天我更新这个单一的文件如何影响搜索时间？.is它相当大的增加，在目前的情况下，当我搜索时，我是查询精确的那一天。当前:smtp/年/月/ay/luceneindex
如果我在单个file.Let中执行smtp/luceneindex所有idex，我就知道其优缺点
浏览 0提问于2011-03-19得票数 0
据我所知，所有数据库/access库都支持准备语句和绑定变量(例如、、等)。Python 似乎暗示数据库库应该在内部使用绑定变量实现，但我检查的两个不是..？
MySQLdb在内部使用字符串插值(来自cursor.execute(..)的 )：
query = query % tuple([db.literal(item) for item in args])
_mysql.c 使用：
r = mysql_real_query(&(self->connection), query, len);
而不是mysql_stmt_*函数。
在psycopg2库中，所有执行路径似乎都以_p
浏览 1提问于2015-10-04得票数 0
我有一个大约500 in大小的size数据库。每2-3周，数据库将突然开始缓慢运行，一些查询(由LINQ生成)将超时。执行时间没有逐渐增加，只是突然增加。
修复它的唯一方法是更新统计信息；我通常同时删除查询计划。然后就恢复正常了。
一些索引在开始时用STATISTICS_NORECOMPUTE=ON错误地创建。由于将它们更改为OFF，此问题发生的频率较低。但是，当我查看索引和创建表的SQL时，系统没有什么不寻常的地方，也没有什么不寻常的地方。每天都会添加新行，但没有异常大或小的行。我看到统计数据只更新了表中的20%+500，但是我没有问题地运行其他类似的数据库。
所以，如果我安排每隔几天午夜更
浏览 0提问于2019-08-16得票数 1
回答已采纳
2回答
为了简化情况，我只考虑一张大桌子.
每天晚上，一家商店会将所有新的和更改过的数据一天内发送给总部。(这部分是好的)而且，商店把过去30天的那张表的摘要寄给了总部，为那张大桌子。
在总部，在大表中更新新的和更改的数据(这里没有问题)。最后收到的30份摘要，并上载到一个表格中。然后将其与一个查询进行比较，该查询总结了这个非常大的表(包含所有存储)在总部的数据。<--这就是问题所在。这样做是为了确保商店的数据与该商店的总部数据相匹配(如果不匹配需要采取行动的数据，则会收到警告)。
问题是摘要查询花费了太多时间..。我希望以更有效的方式改变我们比较存储表和主机表的方式。
我尝试了索引视图，结果
浏览 0提问于2017-08-22得票数 2
回答已采纳
我(必须)使用Postgres 8.4数据库。在此数据库中，我创建了一个函数：
CREATE OR REPLACE FUNCTION counter (mindate timestamptz,maxdate timestamptz) RETURNS integer AS $func$
DECLARE result integer;
BEGIN
Select INTO result COUNT(*) AS counter from columname where starttime BETWEEN $1 and $2;
Return result;
END
$func$ LANGUAGE
浏览 4提问于2016-03-10得票数 4
回答已采纳
我必须运行一个查询，它生成非常大的结果集(20K结果和每行5列)。
我正在对数据进行一些处理，并将结果存储在另一个数据库表中。
所有这些处理都是在cron进程上完成的。
我的问题是，当我运行查询时，数据库服务器的CPU利用率高达100%，直到进程结束。
请帮助我理解这类场景的最佳实践。
浏览 4提问于2013-01-02得票数 0
当我想要创建特定于查询的投影时，该如何将脚本提供给Vertica的数据库设计器？
我可以在将作为输入提供给DB designer的文件中编写多个SELECT语句吗？
浏览 0提问于2012-07-19得票数 1
回答已采纳
3回答
我有一个非常大的列表，名为“数据”，我需要回答相当于
if (x in data[a:b]):
对于a、b和x的不同值。
是否可以对数据进行预处理以使这些查询快速进行？
浏览 6提问于2013-08-03得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
