定时从列表中爬今日通知信息,打包成windows服务

场景模拟

每天8点爬取今日发布的新闻和通知公告,将爬取后的信息保存到Excel文件中,将程序发布成windows服务,开机即可自动启动。

技术使用

1.每天8点定时执行任务,使用Quartz.Net 2.爬取数据采用HtmlAgility 3.Excel操作采用NPOI 4.将应用程序发布为Windows服务,使用Topshelf 5.日志记录Log4Net

思路

因为最后的输出形式为Windows服务,所以使用Topshelf进行打包

TopShelf使用链接

http://www.cnblogs.com/jys509/p/4614975.html

TopShelf概述

Topshelf是创建Windows服务的另一种方法,老外的一篇文章Create a .NET Windows Service in 5 steps with Topshelf通过5个步骤详细的介绍使用使用Topshelf创建Windows 服务。Topshelf是一个开源的跨平台的宿主服务框架,支持Windows和Mono,只需要几行代码就可以构建一个很方便使用的服务宿主。

不了解TopShelf的童鞋可以先百度或者根据LZ提供的链接看看TopShelf是什么以及如何使用。 在了解TopShelf为何物后,我们首先建立一个控制台项目,将我们所需要的组件一一安装。

Install-package Quartz.Net
Install-package Log4Net
Install-package HtmlAgility
Install-package TopShelf

第一步:配置Log4Net日志

新建Log4net.config配置文件

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
  <configSections>
    <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>
  </configSections>

  <log4net>
    <appender name="RollingLogFileAppender" type="log4net.Appender.RollingFileAppender">
      <!--日志路径-->
      <param name= "File" value= "D:\App_Log\servicelog\"/>
      <!--是否是向文件中追加日志-->
      <param name= "AppendToFile" value= "true"/>
      <!--log保留天数-->
      <param name= "MaxSizeRollBackups" value= "10"/>
      <!--日志文件名是否是固定不变的-->
      <param name= "StaticLogFileName" value= "false"/>
      <!--日志文件名格式为:2008-08-31.log-->
      <param name= "DatePattern" value= "yyyy-MM-dd&quot;.read.log&quot;"/>
      <!--日志根据日期滚动-->
      <param name= "RollingStyle" value= "Date"/>
      <layout type="log4net.Layout.PatternLayout">
        <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n %loggername" />
      </layout>
    </appender>

    <!-- 控制台前台显示日志 -->
    <appender name="ColoredConsoleAppender" type="log4net.Appender.ColoredConsoleAppender">
      <mapping>
        <level value="ERROR" />
        <foreColor value="Red, HighIntensity" />
      </mapping>
      <mapping>
        <level value="Info" />
        <foreColor value="Green" />
      </mapping>
      <layout type="log4net.Layout.PatternLayout">
        <conversionPattern value="%n%date{HH:mm:ss,fff} [%-5level] %m" />
      </layout>

      <filter type="log4net.Filter.LevelRangeFilter">
        <param name="LevelMin" value="Info" />
        <param name="LevelMax" value="Fatal" />
      </filter>
    </appender>

    <root>
      <!--(高) OFF > FATAL > ERROR > WARN > INFO > DEBUG > ALL (低) -->
      <level value="all" />
      <appender-ref ref="ColoredConsoleAppender"/>
      <appender-ref ref="RollingLogFileAppender"/>
    </root>
  </log4net>
</configuration>

image.png

在Main方法种开始执行时,对Log4Net进行日志配置加载。

第二部:爬取信息

使用HtmlAgility,如果对此第三方库不是很理解的,可以参考LZ的爬虫系列文章,里面有对其讲解。 代码不做过多讲解,主要就是注意获取当天数据

    public class JKNews
    {
        /// <summary>
        /// 得到今日的新闻
        /// </summary>
        /// <returns></returns>
        public static List<Notice> GetTodayNews()
        {
            string[] url =
            {
                "http://www.jit.edu.cn/myNews_list_out.aspx?infotype=1",
                "http://www.jit.edu.cn/myNews_list_out.aspx?infotype=2"
            };

            var web = new HtmlWeb();
            web.OverrideEncoding = Encoding.GetEncoding("gb2312");
            List<Notice> noticeItems = new List<Notice>();
            for (int i = 0; i < url.Length; i++)
            {
                var docWeb = web.Load(url[i]);
                var listItems = docWeb.DocumentNode.SelectNodes("//*[@id=\"table_list\"]/li").ToList();
                foreach (var item in listItems)
                {
                    string href = item.SelectSingleNode("./a").Attributes["href"].Value;
                    string title = item.InnerText;
                    string remark = item.SelectSingleNode("./span[@class=\'puber\']").InnerText;

                    var splitArr = remark.Split(' ');
                    string dep = splitArr[0].TrimStart('[');
                    string time = splitArr[1].TrimEnd(']');
                    noticeItems.Add(new Notice()
                    {
                        Href = href,
                        Title = title,
                        Dep = dep,
                        Time = time
                    });
                }
            }

            return noticeItems.Where(u => Convert.ToDateTime(u.Time).Date.Equals(DateTime.Now)).ToList();
        }
    }

比较俩日期相同 方法一: System.Data.Entity.DbFunctions.DiffDays(cs.StartTime.Value,DateTime.Now) == 0只获取当天 方法二: XX.StartTime.Value.Date.Equals(DateTime.Now.Date)//只获取当天

使用方法一.png

第三步:使用QuartZ建立一个定时任务

1.建立一个 ToExcelJob 继承 IJob接口,实现方法

定时方法.png

定时方法Exceute种分俩部分执行 第一部分:获取爬取后的数据 第二部分:数据保存到Excel文件

   public class ToExcelJob : IJob
    {
        private static string excelPath = ConfigurationManager.AppSettings["ExcelPath"];
        static readonly ILog Log = LogManager.GetLogger(typeof(ToExcelJob));

        public void Execute(IJobExecutionContext context)
        {
            try
            {
                if (!Directory.Exists(excelPath))
                {
                    Directory.CreateDirectory(excelPath);
                }

                var items = JKNews.GetTodayNews();
                var excel = new Excel();
                excel.CreateSheet("Sheet1");
                int rowIndex = 0;
                excel.WriteTitle(new string[] { "链接", "标题", "部门", "日期" }, 0, 0);
                rowIndex++;
                foreach (var item in items)
                {
                    excel.CreateRow(0, rowIndex);
                    excel.WriteProperty<Notice>(item, 0, rowIndex, 0);
                    rowIndex++;
                }
                excel.SetColumnWidth(0, 0, new[] { 20, 30, 10, 10 });
                string savePath = Path.Combine(excelPath, string.Format("{0}.xlsx", DateTime.Now.ToString("yyyy.MM.dd")));
                excel.WriteFile(savePath);
            }
            catch (Exception ex)
            {
                Log.Error(ex.Message, ex);
            }
        }
    }

第四步:定制TopShelf服务类,对开始和结束进行代码描述

构造函数中使用Quartz.Net 开始进行任务的创建 首先创建一个调度器 然后创建一个任务 然后创建一个触发器,这一步中我们设置了cron为每晚8点,具体使用的大家可以看cron语法 然后将任务与触发器添加到调度器中并执行 在构造函数中对当前任务(Job)进行初始化配置,然后开放俩个方法Start和Stop让便上层调用

    public class ToExcelRunner 
    {
        static readonly ILog _log = LogManager.GetLogger(typeof(ToExcelRunner));
        private readonly IScheduler scheduler;

        public ToExcelRunner()
        {
            // 创建一个调度器
            scheduler = StdSchedulerFactory.GetDefaultScheduler();
            //2、创建一个任务
            IJobDetail job = JobBuilder.Create<ToExcelJob>().WithIdentity("job1", "group1").Build();
            //3、创建一个触发器
            ITrigger trigger = TriggerBuilder.Create()
                .WithIdentity("trigger1", "group1")
                .WithCronSchedule("0 0 20 ? * *")     //每天晚上8点执行
                .Build();
            //4 将任务与触发器添加到调度器中并执行
            scheduler.ScheduleJob(job, trigger);
        }

        public void Start()
        {
            try
            {
                _log.Info("服务开启");
                scheduler.Start();
            }
            catch (Exception e)
            {
                Console.WriteLine(e);
                throw;
            }
        
        }

        public void Stop()
        {
            _log.Info("服务结束");
            scheduler.Shutdown(false);
        }
    }

第五步:TopShelf配置

s.ConstructUsing(name => new ToExcelRunner()); 服务使用ToExcelRunner 对服务的Started注册tc.Start()方法 对服务的Stopped注册tc.Stop()方法 使用日志记录,出错时候记录。

   class Program
   {
       static readonly ILog _log = LogManager.GetLogger(typeof(Program));

       static void Main(string[] args)
       {
           FileInfo fi = new FileInfo(AppDomain.CurrentDomain.BaseDirectory + "\\log4net.config");
           XmlConfigurator.ConfigureAndWatch(fi);
           try
           {
               HostFactory.Run(x =>
               {
                   x.Service<ToExcelRunner>(s =>
                   {
                       s.ConstructUsing(name => new ToExcelRunner());
                       s.WhenStarted(tc => tc.Start());
                       s.WhenStopped(tc => tc.Stop());
                   });
                   x.RunAsLocalSystem();

                   x.SetDescription("每天晚上8点讲当日新闻保存为Excel");
                   x.SetDisplayName("新闻保存服务");
                   x.SetServiceName("新闻保存服务");
               });

           }
           catch (Exception ex)
           {
               _log.Error(ex);
           }
       }
   }

第六步:发布为windows服务

配置运行

没错,整个程序已经开发完了,接下来,只需要简单配置一下,即可以当服务来使用了。安装很方便: 安装:JKNoticeget.exe install 启动:JKNoticeget.exe start 卸载:JKNoticeget.exe uninstall

管理员身份进入,对应路径,注册服务

image.png

image.png

image.png

代码链接 https://github.com/happlyfox/FoxCrawler/tree/master/%E5%AD%A6%E4%B9%A0%E7%A4%BA%E4%BE%8B/JKNoticeget

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我和未来有约会

Silverlight本地化

ilverlight本地化 简单的实现多语言版本的Silverlight应用。 日益国际化的同时,需要我们开发的应用根据不同的来访者显示不用的语言,Silv...

207100
来自专栏dotnet & java

WCF 入门 (21)

其实不太了解为什么第21集才讲这个Binding,下面都是一些概念性的东西,不过作为一个入门视频,了解一下也无妨吧。

9950
来自专栏恰童鞋骚年

.NET Core微服务之基于MassTransit实现数据最终一致性(Part 1)

  关于数据一致性的文章,园子里已经有很多了,如果你还不了解,那么可以通过以下的几篇文章去快速地了解了解,有个感性认识即可。

15550
来自专栏木宛城主

Thinking In Design Pattern——探索SOA在企业应用程序中扮演的角色

服务层的定义 Domain Model的设计与实现 IRepository的设计与实现 Document Message模式和Request-Response模...

21450
来自专栏Porschev[钟慰]的专栏

Asp.Net统一前后端提示信息方案

要解决的问题 减少弹框前后端代码量 增强可维护性 前后端提示资源统一 可以实现简单的多语言提示方案 增强重用性和易用性       ... ...

22550
来自专栏LanceToBigData

HttpClient(二)HttpClient使用Ip代理与处理连接超时

前言   其实前面写的那一点点东西都是轻轻点水,其实HttpClient还有很多强大的功能:   (1)实现了所有 HTTP 的方法(GET,POST,PUT,...

45780
来自专栏hbbliyong

WCF 学习总结2 -- 配置WCF

前面一篇文章《WCF 学习总结1 -- 简单实例》一股脑儿展示了几种WCF部署方式,其中配置文件(App.config/Web.config)都是IDE自动生成...

32070
来自专栏NetCore

【翻译】在Visual Studio中使用Asp.Net Core MVC创建你的第一个Web API应用(一)

HTTP is not just for serving up web pages. It’s also a powerful platform for bui...

26750
来自专栏.NET开发者社区

一步一步创建ASP.NET MVC5程序[Repository+Autofac+Automapper+SqlSugar](四)

上一篇《一步一步创建ASP.NET MVC5程序[Repository+Autofac+Automapper+SqlSugar](三)》,我们完成了:

23190
来自专栏逸鹏说道

避免在ASP.NET Core中使用服务定位器模式

题记:服务定位器(Service Locator)作为一种反模式,一般情况下应该避免使用,在ASP.NET Core更是需要如此。 Scott Allen在其博...

33280

扫码关注云+社区

领取腾讯云代金券