Mongodb收集800万行的速度很慢
关于MongoDB收集800万行数据的速度很慢，这里我们可以从以下几个方面进行分析和优化：
- 数据库优化
- 使用索引：在查询的字段上创建索引，可以提高查询速度。
- 分片：将数据分布在多个服务器上，可以提高查询速度。
- 副本集：创建数据副本，可以提高数据的可靠性和查询速度。
- 数据库压缩：使用压缩算法，可以减少存储空间和网络传输时间。
- 数据导入优化
- 批量导入：使用批量导入的方式，可以提高导入速度。
- 并发导入：使用多线程或多进程并发导入，可以提高导入速度。
- 数据清洗：在导入之前对数据进行清洗，可以减少无效数据和重复数据，提高导入速度。
- 服务器优化
- 硬件升级：升级服务器硬件，如CPU、内存、硬盘等，可以提高数据库性能。
- 网络优化：优化网络配置，如调整TCP参数、使用高速网络等，可以提高数据传输速度。
- 操作系统优化：优化操作系统配置，如调整内存分配、磁盘缓存等，可以提高数据库性能。
- 腾讯云相关产品推荐
- 腾讯云数据库：提供MongoDB、MySQL、Redis等多种数据库产品，支持自动备份、自动恢复、自动扩容等功能。
- 腾讯云CDN：提供内容分发网络服务，可以加速数据传输，提高数据访问速度。
- 腾讯云云服务器：提供高性能、高可用、可扩展的云服务器，可以满足不同场景的业务需求。
综上所述，优化MongoDB的数据库、数据导入、服务器等方面的性能，可以提高数据收集速度。同时，腾讯云提供了多种相关产品，可以满足不同场景的业务需求。
相关·内容
1回答
表A
- auto-incrementing integer primary key
- 3 dates
- 17 booleans
- 7 varchars (less than 40 bytes in these combined varchars in 99% of rows)
- 5 foreign keys
表B
- auto-incrementing integer primary key
- 1 date
- 2 boolean fields
- 3 varchars (1 unique UUID string in each row, other 2 varchars empt
浏览 0提问于2020-04-27得票数 0
回答已采纳
我在filemaker上有一个表，它有大约100万行并在增长。它大约有30列。我需要将它显示在PHP页面上的可数据表上。我在网上的研究表明，FileMaker到PHP的速度非常慢。因此，我试图将数据发送到mongodb集合，然后将其发送到可数据对象。
只是想知道这是否是一个好的建筑决策？
如果是，有什么好方法从FM到Mongodb获取数据？
浏览 4提问于2013-10-12得票数 0
回答已采纳
最有效地计算大型表中的总行数的方法是什么？我有一个包含2300万行的表，下面的查询在生产硬件上需要30+秒：
select count(*) from tablename;
看起来MySQL一定是在执行表扫描，但似乎没有必要这样做。
浏览 0提问于2011-07-15得票数 15
我在一台基于Fedora的机器上使用minikube在我的本地机器上运行一个简单的mongo部署，但是我经常收到ImagePullBackOff错误。以下是yaml文件：
apiVersion: apps/v1
kind: Deployment
metadata:
name: mongodb-deployment
labels:
app: mongodb
spec:
replicas: 1
selector:
matchLabels:
app: mongodb
template:
metadata:
labels:
app: mo
浏览 1提问于2022-08-29得票数 1
回答已采纳
我使用MongoLab作为托管的MongoDB，使用Memcache或Redis缓存响应有意义吗？
我读到使用Redis作为缓存是很常见的，但另一方面，我读到如果MongoDB不分页，MongoDB和Redis可能会有类似的性能。
浏览 1提问于2013-01-07得票数 3
回答已采纳
1回答
我有一个用PHP开发的应用程序，使用MongoDB攻击数据库。我的问题是，在某些情况下，要进行查询，需要花费很长时间，并抛出以下错误:可捕获的致命错误:传递给MongoCollection::__construct()的参数1必须是MongoDB的实例，在..中给出的值为null。
即使我打开两个相等的浏览器，如果我在每个浏览器中访问应用程序，直到没有一个浏览器不结束查询，另一个浏览器不结束查询，则开始。为什么不是并发的？.
我使用MongoDB 2.6.5，PHP 5.3.3-7 y PHP MongoDB驱动程序1.6.8。
示例代码：
//Function call from Appli
浏览 0提问于2015-10-05得票数 3
2回答
我有八百万行的收藏品，而且我还是个mongoDB新手。它加载20行非常慢...
我该怎么做才能加快速度呢？
浏览 5提问于2011-03-07得票数 1
回答已采纳
1回答
在mongodb中的一个模式(称为问题)中，我定义了一个由字符串组成的数组。
标签= '6.01'，'6.02'，'8.01‘
我想要能够过滤问题，并找到任何问题，有一个标签，以'6‘开始。例如，如果我们有以下问题及其相关标记：
问题1:
标签= '6.01'，'6.02'，'8.01‘
问题2:
标签= '9.01'，'7.012'，'10.11‘
问题3:
标签= '7.014'，'6.UA'，'21.012‘
查询
浏览 1提问于2021-01-22得票数 0
2回答
我对两个Pandas查询进行了计时，希望通过索引实现更高的速度。然而，事实恰恰相反。有人能解释一下为什么吗？还是我做的事情不对？我的理解是，Pandas索引作为哈希表工作，查找将在固定时间内发生。就行过滤而言，我相信这是一种顺序过滤，每次应用一个过滤器时，数据帧中的所有行都会被扫描。
数据集大约有800万行和7列。我试图通过数据不唯一的列中字符串值的组合进行筛选。
In [1]: import pandas as pd
In [2]: df = pd.read_csv("/path/to/file", header=None, sep='\t', usecol
浏览 2提问于2018-02-07得票数 1
回答已采纳
我有大约800万行数据帧，如下所示：
Trevor Brown Chris Coghlan Starlin Castro Kelby Tomlinson Brandon Crawford Brandon Crawford Kelby Tomlinson Brandon Crawford
Buster Posey Chris Coghlan Starlin Castro Kelby Tomlinson Brandon Crawford Brandon Crawford Kelby Tomlinson Brandon Crawford
.
.
.
.
Trevor Brown Brandon
浏览 0提问于2016-10-13得票数 0
我有60毫安行的火鸟桌，我需要删除表的一半。
表行有gps定位车，时间戳的记录和其他数据。表有主键IdVehicle+TimeStamp和一个外键(进入车辆表)。没有其他键、索引或触发器。一辆车有10万到50万的记录。
我需要删除旧的数据。从所有车辆中删除2015年3月1日以前的数据。我尝试了不同的方法，实际上使用了我最快的'execute block' (使用主键)。首先，我读了一个比1.3.2015年更久的车辆记录。然后，我将检查各个记录，准备sql，执行一个块，然后每50个条目将其执行到firebird中。
EXECUTE BLOCK AS BEGIN
DELETE F
浏览 6提问于2016-03-12得票数 0
回答已采纳
背景：
Postgres 10.9
DB作为坞容器在dev主机上运行。(t3.大，gp2 500 gp2存储)
DB在RDS中运行，用于分期和生产。(m5.2xlarge，gp2 1TB存储)
一切都很好，很长一段时间都是这样的，我的db更改时间似乎总是总是在prod/分阶段和dev (如预期的那样)中更快。
问题/问题：
<#>I有一个特定的索引创建，它在RDS中花费的时间比在本地dev主机上长20倍(这更强大)。我在过去几年中看到的其他每一种情况，RDS主机都更快，因为它具有更高的计算能力和更高的I/O速度。
数据和模式在实例之间是相同的。使用pg_dump + pg_rest
浏览 0提问于2020-09-28得票数 3
回答已采纳
2回答
我有一个mongodb数据库，它有3000万字典，而且每个月的每一天都有100万行，所以所有的文档计数都是30x1=30百万，数据库只有一个月的数据，我想列出2018-07-01和2018-07-03之间的desc记录并对其排序，所以在这两天中，我有200万行，我的每个集合如下：
{
"_id":"5c66cf5b67011aa76ca597b6",
"timestamp":"2018-07-01 15:45:37.000",
"category":"category_1"
}
我为时间戳列添加了排
浏览 0提问于2019-02-19得票数 1
我使用的是laravel 5.1，我想更新mysql表，它有近20万行。它更新了将近25000行，之后就不再更新了。这几乎需要1个半小时来更新。
有什么建议吗？
浏览 1提问于2016-08-14得票数 2
我需要从MongoDB中提取数据并放入数据库中，MongoDB是一个带有2个辅助副本的副本集，我从辅助数据库中读取MongoDB数据。
我设置了一个简单的转换(将MongoDB输入转换为虚拟步骤)来测试速度，但MongoDB读取速度通常在200行/秒左右。
我认为这太慢了。
有没有人可以分享你的经验，MongoDB输入步骤的通常速度是多少，以及如何优化？
谢谢!
浏览 1提问于2020-01-02得票数 0
1回答
我有两个端点：/parent和/child/{parentId}都将返回List
让我们假设每次调用都需要两秒钟。因此，如果我调用/parent并在列表中获得10个父级，并且我想调用并填充每个子级，我总共需要22秒( /parent需要2秒，10倍于/child/{parentId}，每个2秒)
在Spring和Java10中，我可以结合使用Future和RestTemplate来进行异步调用。
在这段代码中，/slow-five是对父级调用，而/slow-six是对子级调用。
public List<Child> runSlow2() {
ExecutorService
浏览 2提问于2018-12-14得票数 0
1回答
相机拍摄速度慢
、、、、
我正在使用Windows 8的媒体捕获类在桌面应用程序中单击照片并将其复制到剪贴板。
我的函数接受两个输入作为参数，1)所需设备(前置、后置或usb网络摄像头)和2)所需分辨率
下面是函数：
async public void UseCamera(int x, int y)
{
MediaCapture _mediaCapture = new MediaCapture();
var _ImageFormat = ImageEncodingProperties.CreatePng();
var _fileStream = new InMem
浏览 2提问于2013-05-13得票数 0
1回答
嗨，我经历了一种奇怪的现象。
我有一个通过Hibernate ORM查询DB的Java应用程序。
在HP-UX sgx842 B.11.11 U 9000/800 888281448 unlimited-user license中，启动服务器并查询几千条记录后，堆大小固定为800MB。
在Linux sglx481.amk.st.com 2.6.9-34.ELsmp #1 SMP Fri Feb 24 16:56:28 EST 2006 x86_64 x86_64 x86_64 GNU/Linux中，内存会爆炸，直到达到最大内存(由-Xmx选项设置)。但是，系统不会变慢，仍然可以执行数据查询。
浏览 1提问于2010-11-16得票数 0
回答已采纳
我希望将大约200万行从csv转到postgersql。有两种方法。
，在python 或PostgreSQL中直接使用Import
蟒蛇的方式：
engine = create_engine("postgresql+psycopg2://postgres:passwd@127.0.0.1/postgres")
con = engine.connect()
df = pd.read_csv(r"C:\2million.csv",delimiter=',',names=['x','y'],skiprows=1)
df
浏览 3提问于2020-03-19得票数 1
我有一个简单的update查询(foo列类型是BOOLEAN (默认为false))：
update tablename set foo = true where id = 234;
哪个"id“设置为(主)键，如果我运行"explain analyze”，我会得到：
Index Cond: (id = 234)
Total runtime: 0.358 ms
但是，我在慢日志(pgfouine)上仍然有很多无法解释的查询，耗时超过200秒(?!)：
Times executed: 99, Av. duration (s): 70
谁能解释一下，原因是什么？(表中有150万行，
浏览 1提问于2010-05-25得票数 5
1回答
我有这段包含数百万行的scheduler.PageResults代码。
var AllNonHTMLPages = scheduler.PageResults
.Where(p => (p.SkipReason & SkipReasonEnum.NoHTML) == SkipReasonEnum.NoHTML);
Console.WriteLine("# All Non HTML Pages: {0}", AllNonHTMLPages.Count());
foreach (PageData page in Al
浏览 2提问于2015-09-09得票数 1
很抱歉打扰您关于Cshare驱动程序(Samus)的MongoDb问题，您能帮我看一下吗？
using (Mongo mongo = new Mongo(config.BuildConfiguration()))
{
mongo.Connect();
try
{
var db = mongo.GetDatabase("MyCollection");//Collection 's count > 500,000,000
浏览 0提问于2013-01-08得票数 0
回答已采纳
我有一个很长的模拟，我需要提高它的性能。我在日志文件中看到这样的消息：“在GC期间内存不足，将尝试基于磁盘的GC”，这需要大量的模拟时间。Specman当时在做什么，我如何消除它以改善运行时间？
浏览 1提问于2014-05-13得票数 0
我有一个包含候选人详细信息的mongodb数据
属性是基于列表的限定
doc1: "qualification" : ["BS","Diploma"]
doc1: "qualification" : ["BS","MS"]
doc1: "qualification" : ["PG"]
doc1: "qualification" : ["Diploma"]
doc1: "qualification" : [
浏览 1提问于2012-07-24得票数 1
1回答
我目前正在用C++编写一个实时音频应用程序，它接收深度传感器输入并将其转换为MIDI信号。它必须对3D空间进行建模，并实时响应由深度传感器监控的3D空间中对象的运动。
我担心垃圾收集器会导致随机的速度减慢，这可能会导致无法接受的延迟。应用程序的总体性能可能会受到20%的影响，但它需要保持一致。
任何时候增加的延迟，比如说50ms，都足以让它听起来像是关闭了。
在C#中这样做是可行的吗？
浏览 0提问于2019-11-07得票数 0
在Java文档中说明了so be sure to call flush() once you want to request to flush，但在本例中说明不需要调用ctx.flush()。但我并没有发现flush(ChannelHandlerContext ctx)像它所说的那样被称为。 package io.netty.example.time;
public class TimeEncoder extends ChannelOutboundHandlerAdapter {
@Override
public void write(ChannelHandlerConte
浏览 51提问于2020-01-21得票数 0
我有一个在线应用程序，我想记录关键的用户事件，例如用户登录、注销、查看特定记录的时间。对于这些交互中的每一个，我都可以很容易地向sql表中添加一个带有用户ID、事件和时间戳的新行，但是我不会很快得到一个非常大的表吗？
例如- 100,000个用户，平均每个会话10个日志-这已经是一百万行了吗？这是一个问题吗？我什么都不担心吗？
我知道SQL数据库可以容纳几乎无限的数据量，但问题来自于您何时想要操作数据，以及操作所需的时间。如果我有一个有4亿行的表，并且想要快速提取与特定用户相关的行，我想我会开始看到加载速度很慢。
浏览 9提问于2018-11-22得票数 1
假设我将names作为一个元组列表，其中包含任意顺序的名称元组：
names = [(1,"Alice"), (2,"Bob")]
和genders作为包含任意顺序的性别元组的另一个元组列表：
genders = [(2,"male"), (1,"female")]
如何通过使用元组的第一个元素作为键来有效地匹配这两个列表：
result = [("Alice","female"), ("Bob","male")]
浏览 3提问于2011-04-14得票数 2
回答已采纳
我有两个表，其中一个学生名有35M行，另一个表(名称是索引)有1500行。
当我使用这个查询时：
SELECT DISTINCT family
FROM [DBName].[dbo].[student]
运行并返回结果大约需要3秒(假设它有3500万行，但很快返回结果)。
但当我跑
DELETE FROM [DBName].[dbo].[index]
WHERE family NOT IN (SELECT DISTINCT family FROM [DBName].[dbo].[student])
太慢了，我等了三十分钟，但还没完成。
为什么？
浏览 3提问于2020-07-26得票数 0
回答已采纳
当我使用LEFT JOIN运行查询时，需要20秒。当我将它分成两个查询时，它将在4秒内运行。但是，正如您可以想象的那样，这使得很难按一定的顺序显示结果。我的初始查询有什么问题，我可以将2合并成1吗？
Table1有40万行，Table2有20万行。
Field3是Table2中的主键，并在Table1中进行索引。
查询返回大约100 k行。
SELECT Table1.Field1, Table2.Field4
FROM
Table1
LEFT JOIN
Table2 USING (Field3)
WHERE Table1.Field1 = 'Examp
浏览 4提问于2013-03-14得票数 0
回答已采纳
2回答
我从我的客户端应用程序向数据库(SQL Server2008 R2)发出了一个UPDATE请求，它需要6秒才能完成。
目前，我在该表中有大约500万行。
下面是查询：
UPDATE MyTable
SET subject2 = 'information abx', dateProcessed = '2012-02-27 23:02:44'
WHERE id = 3712028;
其中，列是：
[id] [int] IDENTITY(1,1) NOT NULL,
[dateProcessed] [datetime] NULL,
[subject2] [nvar
浏览 1提问于2012-02-28得票数 1
回答已采纳
我读到了很多关于mongodb的好东西，并决定在我的组织中实现它。我的试验是将一个sql服务器视图移动到mongodb。记录的数量是2000万条。我只需通过我的程序复制数据(mssql-> mongodb )，并编写我的UI来查询mongodb，其中最多有7个过滤器可以使用或不使用。我没有添加索引，也没有任何优化活动。当我执行查询时，即使使用2个过滤器(日期范围)，也需要超过5分钟才能返回对应于该查询的100个文档。第一分钟服务器的内存是正常的，但随后它会达到100%的利用率，即使在查询完成后，它仍然是这样的。你能解释这种行为吗？我接下来该怎么办？因为我知道可以只为一列应用索引，并且我的
浏览 4提问于2014-04-23得票数 0
2回答
在对2个regex库实现运行了一些基准测试之后，下面是我们得到的结果：
inputs automaton regex
50 343ms 210ms
100 48ms 187ms
200 65ms 363ms
400 100ms 692ms
800 165ms 1385ms
为什么第一次运行(有50个输入)对于两种实现都是非常昂贵的？
仅供参考：automation指的是，' regex‘指的是java regex库。
浏览 0提问于2013-05-24得票数 0
回答已采纳
我在android jni中使用fwrite写一个缓冲区(大小是460800)到磁盘，大多数时候需要10-40ms，这是可以接受的，但有时需要500-800ms，这是很慢的，我不能接受。
anyOne知道为什么会发生这种情况吗？以及如何解决这个问题。
浏览 1提问于2016-03-04得票数 2
实际更新如下：
UPDATE TableA
SET TableA.Col1 =TableB.Col2
FROM TableA (nolock)
INNER JOIN TableB (nolock)
ON TableA.Col1 = -TableB.Col2
如果在TableB中找到TableA Col1，则会将其反转Col1并非TableA中的所有行都在更新Col1，假设20%到40%
TableA大小为100万行，TableB大小为800万行同时对列Col1和Col2进行索引。DB是Sql Server 2000，这对这种情况
浏览 0提问于2011-03-29得票数 0
我有一个customer表，它的列名是varchar(255)。在应用程序中，我们有一个按名称搜索的功能。我们在这个表中有大约800万条记录。这个查询非常明显。
SELECT customer_table_columns FROM customer_table WHERE customer_name
LIKE '%user input customer name%';
现在，这个查询运行得相当慢(耗时长达几分钟)，而且它让用户很恼火。我想知道是否有一种方法可以提高这个查询的性能。
此列上有索引，但未定义索引类型。索引类型的选项包括全文、主索引和唯一索引。
浏览 1提问于2014-02-05得票数 0
从视图查询到临时表可以在不到30秒的时间内插入800K记录。然而，从视图通过网络查询我的应用程序需要6分钟。服务器是否会构建数据集，然后发送它，从而释放在构建数据集之后获取的任何锁？或者锁被锁住了整整6分钟？
浏览 1提问于2019-04-16得票数 0
1回答
当使用Zappa部署一个基本的Django应用程序时，我发现我的TTFB (第一个字节的时间)在280-800ms之间，但通常在700ms左右。这对于一个网站来说太长了。
其他人似乎得到了更好的响应时间，例如"125ms到500ms ... (可能平均约为175ms)“()。
要重现我的问题：
pip3 install django-admin
mkdir test
cd test
virtualenv .env
source .env/bin/activate
pip3 install django zappa
django-admin startproject zaptest
za
浏览 1提问于2018-07-04得票数 1
2回答
我在SQLite管理器中有一个数据库，有3个表，分别是A、B和C。
表A有3列p1、p2和p3，大约有200万行。
表B有2列p1和p4，还有大约200万行。
表C有1列p4，大约有800,000行。
我尝试运行的查询如下所示：
SELECT A.p1, B.p4, A.p2, A.p3
FROM A,B,C
WHERE A.p1=B.p1 AND B.p4=C.p4
查询已经花了3天时间，但仍然没有完成。我想知道我是应该中止它，还是等到它完成。如果它将在未来5-6天内完成，我可能会等待，但如果它需要更多，我将不得不放弃它。
我应该等还是不等？
我的电脑规格是:酷睿2双核1.86 GB，2 G
浏览 2提问于2010-07-05得票数 4
回答已采纳
2回答
我有两个基于LLVM目标的项目-C/C，有1M行代码和150万行代码。
150万LoC项目的编译速度较快，原因不明。它不使用预编译头，也没有我能找到的解释。
我添加了预编译头，并包含了最大的违反者，禁用了dSYM生成，使代码只编译ARM 7(而不是7s)减少了对O3的优化量。但是构建要慢得多，项目的结构非常相似，但我看不出有什么重大差异可以证明缓慢的构建是合理的。
更快的构建项目是用较早版本的xcode构建的，但两者都是用xcode 5编译的。
浏览 4提问于2014-05-11得票数 2
回答已采纳
我正在使用handsontable + jQuery 在网页中嵌入电子表格。
虽然handsontable在处理更大的数据集方面做得很好，但对我来说，问题是试图一次从MongoDB中拉入100,000+行数据，并将它们插入到DOM中，这占用了太多的时间和内存。
我想到了一个“无限滚动”的解决方案，一次只保留2000行，然后根据用户的垂直滚动加载下一个/或前一个2000行。
但是这看起来有点笨拙，因为如果用户想要将整个数据集的“价格”列设置为19.99该怎么办……
所以，最终我的问题是，其他人是如何处理这个问题的？谷歌工作表是做什么的？显然，最新版本支持2,000,000行数据
对此有哪些高级解
浏览 2提问于2014-02-07得票数 1
在我能找到的所有MongoDB MapReduce示例中，输出格式如下：
{ "_id" : ..., "value" : { "v1" : ..., "v2" : ..., "vn" : ... } }
我想知道是否有可能编写一个MapReduce命令来代替如下格式的输出：
{ "_id" : ..., "v1" : ..., "v2" : ..., "vn" : ... }
如果是这样的话，实现这一目标的最佳方法是什么？
浏览 2提问于2012-08-27得票数 2
回答已采纳
我想知道mongodb中对于大集合的计数操作。
当我在一个有一千万行的集合中不使用任何条件执行db.collection.count()时，它只需要不超过100ms。
为什么这么快，只是从db.collection.stats().count的stat值中读取
浏览 2提问于2018-04-23得票数 20
回答已采纳
4回答
如何才能以最佳方式在Oracle中插入超过一百万行，以执行以下过程？如果我把FOR循环增加到一百万行，它就会挂起。
create or replace procedure inst_prc1 as
xssn number;
xcount number;
l_start Number;
l_end Number;
cursor c1 is select max(ssn)S1 from dtr_debtors1;
Begin
l_start := DBMS_UTILITY.GET_TIME;
FOR I IN 1..10000 LOOP
For C1
浏览 0提问于2013-08-24得票数 5
1回答
我正在尝试使用导入/导出向导将表从开发数据库复制到SQL Server中的QA数据库。大约有660万行，大约需要7个小时。有没有更快的方法来完成这项任务？
下面是我使用的代码：
SELECT *
FROM [Table_Name] WITH (NOLOCK)
WHERE [ColumnDate] > 2018
OR [Code] in ('A', 'B', 'C','D')
谢谢。
浏览 0提问于2021-09-16得票数 0
我的应用程序启动时间变得非常慢。我在这里结束了15秒，并在VS 2017企业版上使用Xamarin Profiler进行了分析。下面是它看起来的样子
这是分析器中显示的最慢的一行，但是我真的不明白它告诉我什么？没有方法或类名。
最有趣的是，整个MainActivity和应用程序初始化大约需要800ms，如下所示，红线突出显示。
所以我的问题是在screenshot1中消耗的是什么？如果我的主要活动在800ms内完成，我应该如何/如何优化？
浏览 10提问于2017-07-17得票数 1
我试图在mongodb中做与sql类似的搜索，但是我不能得到我所期望的结果，我正在遵循这个mappig ，但是结果json总是空的。如果我使用文字字符串，则可以工作，但当传递变量时什么也不会发生
app.get("/questions/search/:query", function(req,res){
var querySearch = req.params.query;
//res.send(querySearch)
Question.find({title: /querySearch/ },function(err,docs){
if(err)
浏览 2提问于2013-07-06得票数 0
我有一个爬虫设置，抓取网站上的所有(唯一)链接，并将链接及其主体标签内容存储在mongo中。下一次我爬行网站时，我需要确保只有新的链接或具有更新的body-tag内容的链接才会被摄取，以避免重复。
因此，基本上我填充了一个新抓取的链接数组，并且对于数组中的每个链接对象，我都执行了一个
db.collection.find({:link_url => link_url，:body => body})
在for循环中运行上面的find查询会导致任何问题或崩溃吗？假设在最坏的情况下，数组的长度可能是5000。
我曾尝试在一个查询中获取整个集合，但这种方法需要深度哈希匹配，并且是n^2操作
浏览 0提问于2019-03-29得票数 1
2回答
我想在Firebase和MongoDB上使用云函数。问题是我不知道如何将我的Mongo数据库与Cloud Functions连接起来。我的数据库部署在matlab上。我创建了这样的模式：
var mongoose = require('mongoose')
var Schema = mongoose.Schema
var patientSchema = new Schema({
name: {
type: String,
required : true,
},
disease:{
type: Stri
浏览 2提问于2017-08-09得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
