前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一日二技:MongoDB与 Scrapy 的小技巧各一个

一日二技:MongoDB与 Scrapy 的小技巧各一个

作者头像
青南
发布2021-09-09 16:34:38
3360
发布2021-09-09 16:34:38
举报
文章被收录于专栏:未闻Code

摄影:产品经理

红烧肉

今天我们来讲两个小技巧。

如何更新 MongoDB 中的一个数组

我们知道,如果想给 MongoDB 的一条文档增加一个字段,我们可以使用update_one方法:

代码语言:javascript
复制
import pymongo

handler = pymongo.MongoClient().db.col
handler.update_one({'name': 'kingname'}, {'$set': {'新的字段名': '新的字段值'}})

但如果有一个字段是数组,我想向这个数组里面添加一个元素。并且,如果这个元素之前就已经在这个数组中了,就什么也不做,只要之前不存在时才添加。

这个时候,我们就可以使用$addToSet操作符来实现这个功能。

这个操作符的语法为:

代码语言:javascript
复制
handler.update_one({'name': 'kingname'}, {'$addToSet': {'字段名': '要插入的元素'}})

我们来看一个例子。

例如对于如图所示的一条文档:

执行代码:

代码语言:javascript
复制
handler.update_one({'name': 'kingname'}, {'$addToSet': {'excellent': 'JavaScript'}})

运行以后,数组excellent变为如下图所示:

如果插入一条已经存在的数据,那么这个数组就不会变化。例如:

代码语言:javascript
复制
handler.update_one({'name': 'kingname'}, {'$addToSet': {'excellent': 'Python'}})

如何使用参数给 Scrapy 爬虫增加属性

在Scrapy 项目中,我们有时候需要在启动爬虫的时候,传入一些参数,从而让一份代码执行不同的逻辑。这个时候,有一个非常方便的方法,就是使用-a参数。它的语法为:

代码语言:javascript
复制
scrapy crawl 爬虫名 -a 参数1 -a 参数2 -a 参数3

那么,传入的这些参数,在爬虫里面怎么使用呢?其实很简单,你不需要做任何额外的配置,直接在爬虫里面通过self.参数名就可以调用了。例如下面这个爬虫:

大家可以看到,PyCharm 给两个属性self.body_nameself.age_from_cmdline标上了黄色的背景,这是因为PyCharm 找不到这两个属性是在哪里定义的。

但没有关系,我们启动 Scrapy 爬虫的时候,使用-a参数传递进去就好了:

代码语言:javascript
复制
scrapy crawl example -a body_name=kingname -a age_from_cmdline=28

运行效果如下图所示:

可以看到,这个接口成功接收到了这两个参数,并且把它显示了出来。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-08-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 未闻Code 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 如何更新 MongoDB 中的一个数组
  • 如何使用参数给 Scrapy 爬虫增加属性
相关产品与服务
云数据库 MongoDB
腾讯云数据库 MongoDB(TencentDB for MongoDB)是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库,100%完全兼容 MongoDB 协议,支持跨文档事务,提供稳定丰富的监控管理,弹性可扩展、自动容灾,适用于文档型数据库场景,您无需自建灾备体系及控制管理系统。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档