1.找到网页并分析网页结构
首先进入豆瓣电影Top250这个网页,按下f12打开开发者工具,如下图
然后开始分析网页,点击开发者工具左上角的有个箭头的东西去找你需要找的数据,在这里我发现每个电影的信息都是在<li>的标签内,所以可以用正则表达式来先提取每一个电影,然后在分别提取每个电影中的数据。每个电影现在的数据都可以获取了,但是这个url只有25个电影,怎样获取下一页的呢?这里我们可以在每个页面获取下一页的链接,然后通过循环来继续获取下一页的电影数据即可
我们可以先用开发者工具的箭头点一下后页,然后就显示右边的箭头数据出来,这里我们也可以用正则表达式来获取下一页的链接,然后接下来的工作就是循环了,好了分析结束,开始敲代码吧!
2.用面向对象的方法进行爬取数据
请求头在开发者工具中查看,如下图所示
接下来获取每个电影的数据
注意:获取到上面的数据,有的是空的,所以还需要进行判断是否为空,为了好看,我用了三元表达式进行判断,完成之后把他们存入字典
3.如果你有点数据库基础的话,还可以把他们存入数据库,在这里我把这些数据存入MySQL数据库,代码如下,需要自己先建好数据库好表格
4.成功后你就会在数据库中查到以下数据
END
最后,非常感谢你看完了这篇文章,喜欢的话,可以点下关注,转发点赞下,或者有什么问题的话欢迎在留言区留言,我会认真回答的。
ps:如果需要完整代码的话可以在后台回复top250即可,或者想要什么学习资源也可以后台找我哦