准备:
因为要用到BeautifulSoupd这个模块,所以需要安装一下
因为我用的ubuntu18.04,所以我的安装方式是:
pip install beautifulsoup4
然后还要安装一个是...beautifulsoup的解析器,关于解析器的定义,你们去看beautifulsoup的官方文档吧,它讲的比我详细....已经全部抓取完毕')
mm_href = []
mm_names = []
for mpoto in:
mm_link = mpoto.get('href')
mm_nick...,可以生成opener来做.但是这样后面的urllib.request.urlopen(),就要改成opener.open了
#这个就自行百度吧,我就不说了
if index == end:...后面会学习多线程,并发等方式,慢慢优化爬虫的速度.
后续会慢慢更新.