如常见的标签tag,CSS中的class
爬虫相关的库.
urllib. 提供接口来打开网页,下载资源
BeautifulSoup....解析网页,提取信息
缺少哪个py库,用pip install xx 来安装
分析与设计
分析过程
人工打开几个目标网页,查看网页源代码来分析下规律,即如何通过主网页,一步步跳转到最终的资源链接....mp3=xxx的地址
lrc歌词改下后缀即可
提炼总结
根据提供的主页,通过特定的td标签解析出来每一个演讲的链接,即是一个单独的任务
对每个任务,解析js中window.open后跟的链接,即是最终的资源所在...,诸如具体的判断,以及文件名的获取等未提到的细节
考虑到网页获取,文本解析,资源下载速度较慢,而每一个演讲都是独立的,可以使用多进程进行加速
除了多进程,还有异步IO,协程等方式可以加速
参考
小e英语..._英语演讲
莫烦python_爬虫基础
BeautifulSoup4.2.0中文文档