通过研究发现,中国福利彩票双色球每周二、四、日21:15开奖,中国体育彩票超级大乐透每周一、三、六21:30开奖,而我们要完成的目标是:
1、自动完成安装工作
2、在周二、四、日的晚上23:00爬取中国福利彩票双色球开奖数据,在周一、三、六的晚上23:00爬取中国体育彩票超级大乐透开奖数据。
1工具
2具体方法
这里除了正常的爬取操作,还增加了独立的参数设定。如果没有参数,爬取的数据就在当前目录下;如果有参数,可以设定保存目录、保存文件名后缀。这样的话,这个脚本既可以单独使用,也可以配合sh定时任务使用。
双色球爬取代码grab500_ssq.py
内容:
# -*- coding:utf-8 -*-
大乐透爬取代码grab500_dlt.py
内容:
# -*- coding:utf-8 -*-
我们需要编写执行python的sh脚本bwb_lottery_everyday.sh
,要注意的是sh的date获取的星期天值是0而不是7,而crontab则可以设定0或者7。
#!/bin/sh
编写一个主要的sh脚本bwb_lottery_main.sh
,执行清理和设定的工作。需要注意的是,这里直接使用了系统的/etc/crontab文件来达到周期执行的目的,其实并不太好,但crontab -e的方法很难自动化,所以只能设定为系统任务。
#!/bin/sh
我们最后只需要执行这个主脚本,就能一键自动完成彩票爬虫的布置。
完整的项目代码已经上传到github上去了~
链接:
https://github.com/BEWINDOWEB/lotterygrabber
欢迎提交watch、star、fork素质三连和提交issue。
为你推荐以下文章
Linux不同版本的区别以及使用建议
分享两个可供练手的Javaweb网站源码
我所知道的和学习有关的网站友链全部在这了