首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

爬虫进阶:Scrapy抓取

前言   Scrapy抓取免费以及实战课程信息,相关环境列举如下: scrapy v1.5.1 redis psycopg2 (操作并保存数据到PostgreSQL) 数据表   完整的爬虫流程大致是这样的...Field() # 教师职位 suit_crowd = Field() # 适合人群 skill_require = Field() # 技术要求 "免费课程"爬虫编写   下面分析下免费课程页面的爬虫编写..."实战课程"爬虫编写   继续介绍实战课程页面的爬虫编写,同样简单分析下页面情况,实战课程定义的数据表(tb_imooc_coding)信息,同样需要从列表页和课程详情页获取(如下图红框所示):...coding_detail) # 课程id coding_id = re.split('/', coding_detail)[-1].replace('.html...pipeline to the ITEM_PIPELINES setting # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

1.8K40
领券