大数据语言教你如何爬取糗事百科段子
效果展示如下：
展示效果
提前安装以下软件：
Python3.6
Scrapy2.1.0
创建 scrapy 项目：
scrapy startproject scrapy_demo
项目结构
修改项目配置文件：
cat settings.py
# 修改默认浏览器标示为以下内容
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
# 忽略robots.txt规则
ROBOTSTXT_OBEY = False
编写代码逻辑：
代码逻辑
运行项目,并导出结果：
导出结果
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20200610A0N6Y000?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
