NET Core 实现定时抓取博客园首页文章信息并发送到邮箱

前言

大家好，我是晓晨。许久没有更新博客了，今天给大家带来一篇干货型文章，一个每隔5分钟抓取博客园首页文章信息并在第二天的上午9点发送到你的邮箱的小工具。比如我在2018年2月14日，9点来到公司我就会收到一封邮件，是2018年2月13日的博客园首页的文章信息。写这个小工具的初衷是，一直有看博客的习惯，但是最近由于各种原因吧，可能几天都不会看一下博客，要是中途错过了什么好文可是十分心疼的哈哈。所以做了个工具，每天归档发到邮箱，妈妈再也不会担心我错过好的文章了。为什么只抓取首页？因为博客园首页文章的质量相对来说高一些。

准备

作为一个持续运行的工具，没有日志记录怎么行，我准备使用的是来记录日志，它有个日志归档功能非常不错。在http请求中，由于网络问题吧可能会出现失败的情况，这里我使用来进行Retry。使用来解析网页，需要对xpath有一定了解。下面是详细说明：

有不了解的组件，可以通过访问github获取资料。

关于发送邮件感谢下面的园友提供的资料：

https://www.cnblogs.com/qulianqing/p/7413640.html

http://www.cnblogs.com/rocketRobin/p/8337055.html

获取&解析博客园首页数据

我是用的是来进行http请求，下面分享一下我简单封装的类库：

获取首页数据

解析数据

我们成功获取到了html，但是怎么提取我们需要的信息（文章标题、地址、摘要、作者、发布时间）呢。这里就亮出了我们的利剑，他是一个可以根据xpath来解析网页的组件。

载入我们前面获取的html：

从上图中，我们可以看出，每条文章所有信息都在一个class为post_item的div里，我们先获取所有的class=post_item的div

我们继续分析，可以看出文章的标题在class=post_item_body的div下面的h3标签下的a标签，摘要信息在class=post_item_summary的p标签里面，发布时间和作者在class=post_item_foot的div里，分析完毕，我们可以取出我们想要的数据了：

运行一下：

我们成功的获取了我们想要的信息。现在我们定义一个对象将它们装起来。

http请求失败重试

我们使用在我们的http请求失败时进行重试，设置为重试3次。

测试一下：

可以看到当遇到exception是Polly会帮我们重试三次，如果三次重试都失败了那么会放弃。

发送邮件

使用来进行邮件发送，它支持IMAP，POP3和SMTP协议，并且是跨平台的十分优秀。下面是根据前面园友的分享自己封装的一个类库：

测试一下：

说明

关于抓取数据和发送邮件的调度，程序异常退出的数据处理等等，在此我就不详细说明了，有兴趣的看源码（文末有github地址）

抓取数据是增量更新的。不用RSS订阅的原因是RSS更新比较慢。

完整的程序运行截图：

每发送一次邮件，程序就会将记录时间调整到今天的9点，然后每次抓取数据之后就会判断当前时间减去记录时间是否大于等于24小时，如果符合就发送邮件并且更新记录时间。

收到的邮件截图：

截图中的邮件标题为13日但是邮件内容为14日，是因为我为了演示效果，将今天（14日）的数据copy到了13日的数据里面，不要被误导了。

还提供一个附件便于收集整理：

好了介绍完毕，我自己已经将这个小工具部署到服务器，想要享受这个服务的可以在评论留下邮箱（手动滑稽）。

github:https://github.com/stulzq/CnBlogSubscribeTool 如果你喜欢，欢迎来个star

原文地址:http://www.cnblogs.com/stulzq/p/8448183.html