在之前我们讲解了如何爬取网页(不管是异步加载的还是普通的),但是爬取下来的数据该如何保存呢?
可能有人会说那我保存在文本文件里面,这样也是可以的,但是到你需要用这个数据的时候,可能就会很麻烦了…
我今天爬取了10000部日本电影
假如说你要找苍老师出演的,那么你可能会说,我直接ctrl+f
查找”苍老师”不就行了
但是假如你想要找”苍老师+无码”怎么办呢???
这个时候就是体现数据库的作用了。
直接到 https://www.mongodb.com/download-center#community选择合适的版本下载安装就可以了。
安装完成后
windows用户在
bin
目录下新建一个data
的文件夹
然后在新建一个start.bat
文件,内容写上
mongod --dbpath ./data
后面每次只要直接打开这个.bat 文件mongodb就运行了
你可以直接选中start.bat
,发送到桌面快捷方式,这样你以后可以直接在桌面打开了
首先 pip install pymongo
下面的test2为表名,
test2.insert_one(xx)
插入一条数据test2.insert_many(xx)
插入listtest2.update_one({'x':1},{'$set':{'x':3}},upsert=True)
参考文档