Python多线程豆瓣影评API接口爬虫
爬虫库
使用简单的requests库，这是一个阻塞的库，速度比较慢。
解析使用XPATH表达式
总体采用类的形式
多线程
使用concurrent.future并发模块，建立线程池，把future对象扔进去执行即可实现并发爬取效果
数据存储
使用Python ORM sqlalchemy保存到数据库，也可以使用自带的csv模块存在CSV中。
API接口
因为API接口存在数据保护情况，一个电影的每一个分类只能抓取前25页，全部评论、好评、中评、差评所有分类能爬100页，每页有20个数据，即最多为两千条数据。
因为时效性原因，不保证代码能爬到数据，只是给大家一个参考思路，上代码：
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20190508A0JDJ000?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
