腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

未闻Code

专栏作者

582

文章

1067429

阅读量

92

订阅数

GneList 来了！抓取列表页-极-其-简-单！

xslt & xpath github git 开源 mongodb

GneList是一个浏览器插件，专门用来生成列表页的 XPath。使用这个 XPath，你可以快速获取到列表页中的每一个条目。

2022-04-07

7570

一日二技：MongoDB与 Scrapy 的小技巧各一个

爬虫编程算法 scrapy mongodb ide

我们知道，如果想给 MongoDB 的一条文档增加一个字段，我们可以使用update_one方法：

2021-09-09

3190

一日一技：在 MongoDB 中，如何批量更新不同数据为不同值？

mongodb 数据库 sql 云数据库 MongoDB

我们知道，当使用 Pymongo 更新MongoDB 字段的时候，我们有两种常见的方法：

2021-06-23

4.3K0

手把手教你用Scrapy爬取知乎大V粉丝列表

mongodb python 数据库 sql 云数据库 MongoDB

导读：通过获取知乎某个大V的关注列表和被关注列表，查看该大V以及其关注用户和被关注用户的详细信息，然后通过层层递归调用，实现获取关注用户和被关注用户的关注列表和被关注列表，最终实现获取大量用户信息。

2021-05-13

5170

一日一技：单机单节点 MongoDB 为什么删除数据后不释放空间？

mongodb 数据库 sql 云数据库 MongoDB mac os

MongoDB 3.6以后，默认使用的储存引擎是 WiredTiger。这个引擎有一个特点，就是删除数据不释放空间。例如现在你的一个集合里面有10000000条数据，占用10GB 的硬盘空间。你把其中的9999999条数据都删了，占用空间仍然是10GB。

2020-08-27

2.2K0

一日一技：如何找到 MongoDB 占用空间最大的集合？

mongodb 云数据库 MongoDB 数据库 sql

我的 MongoDB 上面有很多库，每个库里面有很多集合。他们占用了太多的储存空间。现在我想找到占用空间最大的10个集合，应该如何操作？

2020-08-27

2.7K0

一日一技：如何实现一个轻量插件系统

mongodb date plugin plugins redis

假设我们实现了一个程序，它从 Redis 读取数据，然后写入 MongoDB。一开始程序是这样的：

2020-05-21

3280

一日一技：为 pymongo 的批量插入功能进一步加速

官方文档 mongodb api sql 数据库

我们知道，使用 Pymongo 插入数据的时候，凑够一批数据，并调用insert_many()批量插入，速度会远远超过一条一条插入。在默认情况下，我们只给这个方法传一个参数：包含字典的列表：

2020-05-14

2.5K0

开发经验：如何正确设置开发环境与生产环境的配置参数

git mongodb 腾讯云测试服务云数据库 Redis 云数据库 MongoDB

我们写代码时，一般会先在自己电脑上进行开发，然后把代码部署到服务器上。如果一段代码涉及到读写数据库，或者访问某些其他的线上服务接口，那么在开发时，为了不影响线上环境，我们一般会把测试环境的数据库和线上环境的数据库分开。

2020-04-08

1.2K0

不看官方文档，这个问题你可能会束手无策

官方文档 python https mongodb

在 Python 3.7版本开始，引入了新功能asyncio.run来快速运行一段异步代码。

2020-03-13

3.5K0

一日一技：在 Python 中实现延迟调用

编程算法 mongodb python 云数据库 Redis 数据库

熟悉 Golang 的同学都知道，Golang 里面有一个关键词叫做defer，它可以实现延迟调用。

2020-02-19

9930

一日一技：在 Python 中接管键盘中断信号

mongodb python 数据库 sql 云数据库 MongoDB

假设有这样一个需求，你需要从 Redis 中持续不断读取数据，并把这些数据写入到 MongoDB 中。你可能会这样写代码：

2020-02-19

1.1K0

为什么每一个爬虫工程师都应该学习 Kafka

kafka mongodb 云数据库 MongoDB 爬虫云数据库 Redis

这篇文章不会涉及到Kafka 的具体操作，而是告诉你 Kafka 是什么，以及它能在爬虫开发中扮演什么重要角色。

2019-12-25

8480

一日一技：使用 Linux 自带的 logrotate 管理你的所有日志

mongodb 数据库 sql 云数据库 MongoDB 文件存储

我们在开发的过程中，会创建非常多的日志，对日志进行 rotate 是一个基本要求。

2019-10-28

1.4K0

一日一技：如何正确获取 MongoDB 集合里面的最后一条数据

mongodb 数据库 sql 云数据库 MongoDB

在我们使用 Python 查询 MongoDB 的时候，一般会使用MongoDB 的集合（collection）对象的 find()方法或者find_one()方法：

2019-10-23

8K0

一日一技：在Pymongo中设置连接超时时间

数据库 mongodb pymongo 连接

在使用 pymongo 连接 MongoDB 的时候，如果数据库出现问题，pymongo 默认会等待 20 秒左右才会报连接超时，如下图所示：

2019-10-21

5K0

一日一技：使用Pymongo实现更新并返回数据

官方文档 mongodb 网站数据库 sql

我有100篇故事，放在 MongoDB 里面。我做了一个 web 接口，每次请求返回一篇故事。希望能够实现：

2019-10-06

3.2K0

一日一技：MongoDB如何正确中断正在创建的索引

mongodb 数据库 sql 云数据库 MongoDB 网站

我们在使用 MongoDB 的时候，会出现需要给一个已经存在的大集合的某个字段增加索引的情况。

2019-09-10

1.6K0

4种方法解决MongoDB游标超时的问题

mongodb 云数据库 MongoDB 数据库 sql

短短4行代码，读取MongoDB里面的每一行数据，然后传入 parse_data做处理。处理完成以后再读取下一行。逻辑清晰而简单，能有什么问题？只要parse_data(row)不报错，这一段代码就完美无缺。

2019-08-20

3.8K0

使用项目驱动学习编程的诀窍

云数据库 Redis 编程算法 python mongodb

在日常工作和学习中，我们会发现有些人学习东西非常快，有些人学习东西却像蜗牛一样半天走不动一步。难道说他们的天赋和才智不一样吗？放在一百年前，可能确实是这样。但放到现在，要快速学会并掌握一个技能，在大多数时候，如果方法对了，就轮不到拼天赋。学习快的人，他们只是更善于借用外物。

2019-08-16

1K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态