爬虫闯关网站基础题

网站：http://glidedsky.com

今天先开始基础题，注册进去就看到了

题目： 计算网页上所有数字的和

点进去待爬取的网站，发现全是数字，，，这个第一题确实简单，没啥讲的，直接 request 请求就行了，当然必须得 cookie 以及请求头还是必须得，别忘了。

点击提交，要验证一下邮箱，验证通过，就 完事了。

第二题：同样题，请求1000次

这是经过分页的，请求需要翻页，直接请求一页简单，但如果请求1000页，实现是一方面，怎么更快是更需要思考的，要不然写的爬虫也没啥用了。

这个题思路都是一样的，还是上面的写的代码，只需要将 URL 重新拼接，再去做请求，总共需要循环1000次，直接 while true 就行不过这样的话速度太慢了，可以试着自己优化一下，加线程或者直接使用协程，都是很不错的。

运行的结果，这样是直接改的，没有加任何线程或协程，时间有点长。

下面是使用协程运行的结果，33秒，快了一半。

分两次请求，使用协程库 asyncio 和 aiohttp , 没有做切片，所以就分两次请求了，应该是还可以更优化。线程跑完这个需要多少没试过，大家可以自己尝试。

建议大家也去试试，反正今天发的这个基础很简单，最好能自己手动写出来，然后想想怎么优化，可以留言讨论，包括自己的思路以及怎么更快。

有什么问题记得留言。过关的感觉还是挺爽的，后面会越来越难。

第三题：IP屏蔽1和2

还是求和，不过这次封禁ip，每个ip只能访问一次，这个题就有点恶心了，只能去找代理ip了。是比较麻烦的。下一篇再讲。