腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Python中文社区

专栏作者

337

文章

556994

阅读量

176

订阅数

djongo：Django和MongoDB连接器

django mongodb python 爬虫大数据

作者：小江，python爱好者，自学中，尝试爬虫、Django开发以及大数据，非CS科班出身。在校主要用MATLAB，现工作中偶尔使用python。博客主页：http://www.cae-space.cn/

Python中文社区

2018-07-26

1.7K0

QQ空间爬虫最新分享，一天 400 万条数据

云数据库 Redis mongodb 爬虫 python

前言本文为作者对其开源项目QQSpider的说明文档。主要替换了程序里一些不可用的链接，对登录时的验证码作了处理，对去重队列作了优化。并且可以非常简单地实现爬虫分布式扩展。 Github项目名称：Q

Python中文社区

2018-01-31

1.8K0

一个基于Flask和MongoDB的CMS内容管理系统

mongodb 数据库

Quokka 世界上最快乐的CMS内容管理系统封面即为Quokka原意：产于澳大利亚的短尾矮袋鼠 Quokka是一个灵活地运用Python、Flask、MongoDB集成的内容管理平台，你可以拿它用

Python中文社区

2018-01-31

2.9K0

Python网络爬虫实战项目大全，最后一个亮了

爬虫 python mongodb 云数据库 Redis

wcspider [1]- 微信公众号爬虫。使用爬虫搜索所有微信公众号资料及其文章，通过搜狗搜索获取公众号的openid，创建公众号历史消息请求URL，解析出历史消息总量、历史消息总页数、单个历史消息

Python中文社区

2018-01-31

1.7K0

使用scrapy,redis,mongodb实现的一个分布式网络爬虫

爬虫 mongodb python scrapy

这个工程是对垂直搜索引擎中分布式网络爬虫的探索实现，它包含一个针对http://www.woaidu.org/ 网站的spider，将其网站的书名，作者，书籍封面图片，书籍概要，原始网址链接，书籍下载信息和书籍爬取到本地：分布式使用redis实现，redis中存储了工程的request，stats信息，能够对各个机器上的爬虫实现集中管理，这样可以解决爬虫的性能瓶颈，利用redis的高效和易于扩展能够轻松实现高效率下载：当redis存储或者访问速度遇到瓶颈时，可以通过增大r

Python中文社区

2018-01-31

1.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态