Navi.Soft31.任务管理器(定时同步+数据采集)

1系统简介

1.1功能简述

在众多的软件分类中,有几类的软件不是很重要,但也很重要。它们有的是每隔一段时间需要执行一些任务的软件,我们叫它定时类软件;还有一种软件是采集网页中的数据,我们叫它采集类软件。

本产品是任务管理器,包括上述2种软件

同步服务,可以根据配置好的时间间隔执行任务。可以每隔一段时间,也可以在某个时间点执行

采集服务,可以采集指定页面的数据,用于大数据分析。可根据网址直接采集,也可以可视化采集(如:淘宝中我的订单,就是需要登录才能采集)

1.2运行环境

.NET Framework 4.0

1.3使用方法

双击软件图标,打开登录页面,验证成功后弹出如图1-1所示

图1-1

1.4产品亮点

l 定时模块,任务类型包括:间隔时间和时间点

l 采集模块,支持可视化采集和非可视化采集

l 完善的日志模块帮助问题的定位和解决

2同步服务

2.1配置同步项

只要定义好同步项,这些同步项可保存至内存中,也可以存储在数据库中。用于定义有哪些任务需要定时执行

2.2运行同步项

如上图所示

1, 记录同步项的开始和结束时间,定时执行次数,还有配置项,如:间隔时间,时间点等

2, 最下面的日志用于输出同步项的操作结果

2.3定时邮件

是指程序每间隔一定时间,向系统管理员发送邮件。以通知管理员系统运行正常

2.4配置采集项

是采集模块范围,下一部分详细描述

3数据采集

3.1主界面

图3-1

如上图所示

1. 本产品已经内置几个采集模板,如:博客园、糗事百科、淘宝网和1688(需登录后可视化采集)

2. 选中某个采集模板,点击:创建,相当于创建了这个模板的一个实例(可同时创建多个)

3. 再选中某个实例,点击:开始。实现采集数据

3.2创建实例
3.3开始采集

如上图所示

点击开始后,实现数据采集

3.4采集结果
3.5可视化采集

若是可视化采集,点击:开始的时候,会自动弹出可视化采集页面(注:有的需要登录)

3.5.1调试

l 取分页数:是指获取有多少分页,如下图所示

l 采集当页:是指只采集当前页数据,如下图所示

l 下一页:是指当前页采集完成后,直接触发:下一页按钮,实现页面翻转

3.5.2登录帐户

是指登录的帐户和密码,可直接复制。当然,需要提前配置好才行

3.5.3采集

采集是指采用调试中的方式,实现对所有页面的采集。步骤如下

a. 先获取有多少分页

b. 循环从第1页开始采集

c. 当前页采集成功后,再触发下一页按钮,采集第2页,直至所有页面均采集完成

3.6组件化开发

无论是可视化采集,还是非可视化采集。均已实现组件化开发。如:采集页面只有一个,不同的采集模板,只需传入不同的参数即可实现

4FAQ

4.1FAQ1

问:若360安全卫士开启时,会弹出是否允许此程序运行,如图8-1所示

图8-1

答:选择:一直允许运行(加入白名单)

4.2FAQ2

问:可视化采集页面中的浏览器控件用的是哪个?

答:可视化采集控件采用的是微信自带的WebBrowser控件,在Win7或Win10系统中,它需要修改注册,来保证使用的IE内核与系统的IE内核保持一致

5后记

对本产品感兴趣的,可以加我微信号(xiyang1011或13867408830)私聊

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小白课代表

Axure RP 8.0 安装教程

18120
来自专栏北京马哥教育

一篇了解爬虫技术方方面面

原理 传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件...

47790
来自专栏好好学习吧

LoadRunner菜鸟入门学习笔记

  11.0 最高ie9( win7 32位+LR11+IE10可用,但win7 64位+LR11+IE10不可用,降至IE9可用),支持firefox3.6、...

2.8K20
来自专栏直播系统开发

(续)通过直播源码搭建直播平台需要准备什么

昨天我们聊了下直播平台搭建前需要准备的重点内容——流媒体CDN,CDN是直播平台搭建及运营过程中的重要环节。除此之外,通过直播源码搭建直播平台时还需要用到他们:

78650
来自专栏java 成神之路

iostat 命令详解

40190
来自专栏腾讯移动品质中心TMQ的专栏

从0到1:打造移动端H5性能测试平台

如何打造一个移动端H5性能平台?听起来是否有点高大上,不知道如何下手。不要紧张,我们来手把手教大家打造自己的移动端H5性能测试平台。 功能篇 【H5前端性能平台...

43970
来自专栏FreeBuf

反取证技术:内核模式下的进程隐蔽

介绍 本文是介绍恶意软件的持久性及传播性技术这一系列的第一次迭代,这些技术中大部分是研究人员几年前发现并披露的,在此介绍的目的是建立这些技术和取证方面的知识框架...

37680
来自专栏大数据

微博爬虫

全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严...

26850
来自专栏移动端开发

Cocos 2d-X Lua 游戏添加苹果内购(一) 图文详解准备流程

      最近给游戏添加了苹果的内购,这一块的东西也是刚刚做完,总结一下,其实这里不管是游戏还是我们普通的App添加内购这一块的东西都是差不多的,多出来的部分...

17130
来自专栏一“技”之长

Xcode创建可复用的代码块 原

        在各种程序开发中,编写代码的效率是非常重要的一个问题,各种优秀的编译器也都有相应的插件用于提高程序员的编码速度。在xcode中,可以通过定义代码...

16220

扫码关注云+社区

领取腾讯云代金券