首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

我想用Python开个车,真的只是开个车

咱们今天就爬取某国的国粹爱情动作电影系列

准备好了,就上车了呀

滴~学生卡~

开发环境: python3.6.1+window64+idea14

使用到的第三方库:pymysql xlrd xlwt xlutils beautifulsoup requests

声明一个爬虫类Crawer,requests负责抓取目标网页信息

获取到目标信息后,使用beautifulsoup解析

判断添加到数据库

现在写requests爬取数据:

我们把保存数据的操作写了,最后再把涉及到html解析的部分补上来。。

最后就到获取到的html解析过程了:

使用谷歌浏览器F12-右键目标html代码-copy-选择copy selector,会得到目标代码的html相对位置信息

body > div:nth-child(10) > div > ul > li:nth-child(1) > li

根据这些数据来进行beautifulsoup定位

okay,写完,我是不会告诉你们网址的。。。

作者:MarcoHorse

源自:

https://www.jianshu.com/p/b39e58dbde46

声明:文章著作权归作者所有,如有侵权,请联系小编删除

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180418A1NY4E00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券