Py无处不在,你真的感受到了?

Py无处不在,你真的感受到了?

0.前言1.图床我来了2.pdf我来了3.作者的话

今日知图

复制or粘贴

0.前言

好久没真真切切的用编程解决实际问题,我们通常是学,但是不会用,那么今天来学习一下,python在实际生活中的强大之处!特别是爬虫,哈哈~~~

之前承诺scrapy本周会发出一文,没问题,这周会发!本来打算用scrapy来写,结果发现scrapy写的太简单,真的,在scrapy中封装的要好,对于这节的学习,为了提高各位真正的编程与爬虫能力,我们不用框架,如果你需要框架scrapy来爬虫,可以留言,然后根据留言情况,适当将本节代码转为scrapy

ok,现在来说一下我的两个重要需求,也就是针对本文,放出两个重要实战!干货很多哦~~,嘿嘿~

第一需求来源于七牛云,我的博客用的图床是七牛云,然后七牛云为了号召国家响应,由于域名限制问题,你必须备案,所以七牛云就将之前的免费图床域名,变为测试域名,之前一直在想,免费的东西都用了这么久,什么时候收费啊,结果,就前两天,直接给我发了个邮件,提示你有一周时间,一周后,大家懂的,直接凉凉,所有图片404~~

看到这个消息后,非常震惊,当时有点小慌,但是机制的我,用python解决了这个问题。

给大家一句话:免费的永远是最贵的!!!

我又是怎么解决的呢?看后文留个疑惑!!

第二个需求来源于cs231n,我看到这个网站有很多pdf我需要下载,但是太多了,手动会点残,那么怎么办,总不能点一个下载一个吧,这也不符合我们程序员的风格。所以我又有了办法,看后面解决方案!

1.图床我来了

获取当前文件夹下所有的markdown文档

如下图所示是我的部分markdown文档,我们知道,当图床提供的url失效,那么所有图片404,这是个非常恐怖的问题,那么我该如何解决?

首先下载所有图片,七牛云提供了qshell命令工具,直接下载所有图片,非常爽,结果下来后,真的多,有450+的图片,如果放在每个markdown中,又得去找对应的文档以及450+个图片链接,手动修改,这个工作量太大了,所以我就用python实现替换所有markdown中的所有链接为新链接,这里将450+张图片存入了github上。后面再找其他的图床,如果有好的,留言一下~~

实战

首先获取文件夹下所有markdown文档!

这里通过模块来解决!

替换

然后需要做的就是所有文件原地替换!

下面两个链接我全部打码了,运用到你们自己的情况直接替换调即可!

嗨皮,最终搞定~~~

2.pdf我来了

这里功能很明确,实现pdf全局下载!

下面这个布局大家很熟悉吧,很多网站的文件下载都是这样,那么也就意味着,只需要在我给的代码上稍作修改,便可以实现多个网站爬取

导包

目标

封装

注:下面所有的代码都是在这个类封装下的方法!

获取选择器

年份获取

对于这个网站,难点在哪?

没有反爬,这就非常简单了,难点在你的处理,这里给出一个高级用法:,我通过这个来定位所有的a标签,根据href属性,筛选出年份,直接以20开头的便满足条件!用法看代码!

然后我们要获取下一个页面的url,也就是跳转链接,那就是跟前面的base_url拼接就行!

最后这里为什么返回两个,而不是一个,原因是,我想要用年份这个list来当作数据的目录名,每个目录下面有多个pdf,予以区分开,更加自动化处理!

另一个返回则是跳转下一个页面的url!

输出格式:

实战:

获取所有pdf链接

这里直接调用上述的年份跳转链接,进入相应链接后,如下图,会有多个pdf,这个就是我们最终的目标,那么如何处理呢,这里通过筛选出pdf结尾的url,并予以拼接,那么就得到了完整的pdf链接,最终建立一个字典来将对应的年份对应多个pdf,输出格式为下面:

实战 :

下载pdf

首先利用上面的字典key创建目录,然后循环遍历当前key所对应的list当中的每个url,然后下载,最终下载的文件名为url中后面xx.pdf形式!

调用

调用上面方法!

结果

3.作者的话

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181107G009VJ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励