专栏首页Hadoop数据仓库轻松使用crontab调度作业

轻松使用crontab调度作业

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/53905500

很容易用crontab命令创建一个任务,定期运shell脚本,如:

# 修改文件属性为可执行
chmod 755 /root/regular_etl.sh
# 编辑crontab文件内容
crontab -e
# 添加如下一行,指定每天2点执行定期装载作业,然后保存退出
0 2 * * * /root/regular_etl.sh

这就可以了,需要用户做的就是如此简单,其它的事情交给cron系统服务去完成。提供cron服务的进程名为crond,这是Linux下一个用来周期性执行某种任务或处理某些事件的守护进程。当安装完操作系统后,会自动启动crond进程,它每分钟会定期检查是否有要执行的任务,如果有则自动执行该任务。 Linux下的任务调度分为两类,系统任务调度和用户任务调度。

  • 系统任务调度:系统需要周期性执行的工作,比如写缓存数据到硬盘、日志清理等。在/etc目录下有一个crontab文件,这个就是系统任务调度的配置文件。
  • 用户任务调度:用户要定期执行的工作,比如用户数据备份、定时邮件提醒等。用户可以使用crontab命令来定制自己的计划任务。所有用户定义的crontab文件都被保存在 /var/spool/cron目录中,其文件名与用户名一致。

1. crontab权限 Linux系统使用一对allow/deny文件组合判断用户是否具有执行crontab的权限。如果用户名出现在/etc/cron.allow文件中,则该用户允许执行crontab命令。如果此文件不存在,那么如果用户名没有出现在/etc/cron.deny文件中,则该用户允许执行crontab命令。如果只存在cron.deny文件,并且该文件是空的,则所有用户都可以使用crontab命令。如果这两个文件都不存在,那么只有root用户可以执行crontab命令。allow/deny文件由每行一个用户名构成。 2. crontab命令 通过crontab 命令,我们可以在固定间隔的时间点执行指定的系统指令或 shell脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。crontab 命令格式如下: crontab [-u user] file crontab [-u user] [ -e | -l | -r ] 参数说明:

  • -u user:用来设定某个用户的crontab服务,此参数一般由root用户使用。
  • file:file是命令文件的名字,表示将file做为crontab的任务列表文件并载入crontab。如果在命令行中没有指定这个文件,crontab命令将接受标准输入、通常是键盘上键入的命令,并将它们载入crontab。
  • -e:编辑某个用户的crontab文件内容。如果不指定用户,则表示编辑当前用户的crontab文件。如果文件不存在则创建一个。
  • -l:显示某个用户的crontab文件内容,如果不指定用户,则表示显示当前用户的crontab文件内容。
  • -r:从/var/spool/cron目录中删除某个用户的crontab文件,如果不指定用户,则默认删除当前用户的crontab文件。
  • -i:在删除用户的crontab文件时给出确认提示。

注意,如果不经意地输入了不带任何参数的crontab命令,不要使用Control-d退出,因为这会删除用户所对应的crontab文件中的所有条目。代替的方法是用Control-c退出。 3. crontab文件 用户所建立的crontab文件中,每一行都代表一项任务,每行的每个字段代表一项设置。它的格式共分为六个字段,前五段是时间设定段,第六段是要执行的命令段,格式如下: .---------------- 分钟(0 - 59) | .------------- 小时(0 - 23) | | .---------- 日期(1 - 31) | | | .------- 月份(1 - 12) | | | | .---- 星期(0 - 6,代表周日到周一) | | | | | * * * * * 要执行的命令,可以是系统命令,也可以是自己编写的脚本文件。 在以上各个时间字段中,还可以使用如下特殊字符:

  • 星号(*):代表所有可能的值,例如“月份”字段如果是星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。
  • 逗号(,):可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”
  • 中杠(-):可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”
  • 正斜线(/):可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用,例如*/10,如果用在“分钟”字段,表示每十分钟执行一次。

注意,“日期”和“星期”字段都可以指定哪天执行,如果两个字段都设置了,则执行的日期是两个字段的并集。 4. crontab示例 # 每1分钟执行一次command * * * * * command # 每小时的第3和第15分钟执行 3,15 * * * * command # 在上午8点到11点的第3和第15分钟执行 3,15 8-11 * * * command # 每隔两天的上午8点到11点的第3和第15分钟执行 3,15 8-11 */2 * * command # 每个星期一的上午8点到11点的第3和第15分钟执行 3,15 8-11 * * 1 command # 每晚的21:30执行 30 21 * * * command # 每月1、10、22日的4:45执行 45 4 1,10,22 * * command # 每周六、周日的1:10执行 10 1 * * 6,0 command # 每天18:00至23:00之间每隔30分钟执行 0,30 18-23 * * * command # 每星期六的晚上11:00执行 0 23 * * 6 command # 每一小时执行一次 * */1 * * * command # 晚上11点到早上7点之间,每隔一小时执行一次 * 23-7/1 * * * command # 每月的4号与每周一到周三的11点执行 0 11 4 * 1-3 command # 一月一号的4点执行 0 4 1 1 * command # 每小时执行/etc/cron.hourly目录内的脚本 01 * * * * root run-parts /etc/cron.hourly 说明:run-parts会遍历目标文件夹,执行第一层目录下具有可执行权限的文件。 5. crontab环境 有时创建了一个crontab任务,但是这个任务却无法自动执行,而手动执行脚本却没有问题,这种情况一般是由于在crontab文件中没有配置环境变量引起的。cron从用户所在的主目录,使用shell调用需要执行的命令。cron为每个shell提供了一个缺省的环境,Linux下的定义如下:

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=用户名
HOME=用户主目录

在crontab文件中定义多个调度任务时,需要特别注意的一个问题就是环境变量的设置,因为我们手动执行某个脚本时,是在当前shell环境下进行的,程序能找到环境变量,而系统自动执行任务调度时,除了缺省的环境,是不会加载任何其它环境变量的。因此就需要在crontab文件中指定任务运行所需的所有环境变量。 不要假定cron知道所需要的特殊环境,它其实并不知道。所以用户要保证在shell脚本中提供所有必要的路径和环境变量,除了一些自动设置的全局变量。以下三点需要注意:

  • 脚本中涉及文件路径时写绝对路径;
  • 脚本执行要用到环境变量时,通过source命令显式引入,例如:#!/bin/sh source /etc/profile
  • 当手动执行脚本没问题,但是crontab不执行时,可以尝试在crontab中直接引入环境变量解决问题,例如:0 * * * * . /etc/profile;/bin/sh /path/to/myscript.sh

6. 重定向输出邮件 缺省时,每条任务调度执行完毕,系统都会将任务输出信息通过电子邮件的形式发送给当前系统用户。这样日积月累,日志信息会非常大,可能会影响系统的正常运行。因此,将每条任务进行重定向处理非常重要。可以在crontab文件中设置如下形式,忽略日志输出:

0 */3 * * * /usr/local/myscript.sh >/dev/null 2>&1

“>/dev/null 2>&1”表示先将标准输出重定向到/dev/null,然后将标准错误重定向到标准输出。由于标准输出已经重定向到了/dev/null,因此标准错误也会重定向到/dev/null,这样日志输出问题就解决了。 7. 生成日志文件 可以将crontab执行任务的输出信息重定向到一个自定义的日志文件中,例如:

30 8 * * * rm /home/someuser/tmp/* > /home/someuser/cronlogs/clean_tmp_dir.log

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 初学乍练redis:事务与脚本

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/...

    用户1148526
  • MySQL 8 复制(三)——延迟复制与部分复制

    版权声明:本文为博主原创文章,未经博主允许不得转载。 ...

    用户1148526
  • MySQL实现树的遍历

    经常在一个表中有父子关系的两个字段,比如empno与manager,这种结构中需要用到树的遍历。在Oracle 中可以使用connect by简单解决问题,但M...

    用户1148526
  • Linux中crontab-定时任务命令

    关于任务定时的命令crontab,在Linux中应用还算常见,这次为了配合开发完成一些辅助功能,以及一些备份更新等脚本,就需要crontab来完成,在windo...

    joshua317
  • crontab在一秒内刷新多次导致部分脚本不生效的问题分析

    stat为系统函数调用,该函数取得的结构体的`st_mtime`的单位为秒。今天ob在几台DB上发现crontab中的监控任务,从来没有执行。但操作一下cron...

    康中良
  • Linux命令之Crontab——定时任务

    rontab命令被用来提交和管理用户的需要周期性执行的任务,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动cron...

    浩Coding
  • Linux crontab定时执行任务命令格式与详细例子

    基本格式 :  *  *  *  *  *  command  分 时 日 月 周 命令  第1列表示分钟1~59 每分钟用*或者 */1表示  第2列表示小时...

    流柯
  • crontab设置定时任务

    基本格式 : *  *  *  *  *  command 分 时 日 月 周 命令 第1列表示分钟1~59 每分钟用*或者 */1表示 第2列表示小时...

    wangxl
  • [Go 语言社区] redis数据清楚机制实现

    规则需求: 1 设计redis保存玩家用户的每天的数据,但是需要第二天清楚重置 程序设计: 1 程序触发事件保存数据。(满足数据保存需求) 2 清除脚本...

    李海彬
  • 小知识点--crontab

    这两周学了很多东西,还把golang语言基本掌握了,收获还是挺多的。在做安全的过程中,有很多需要定时执行的任务,比如抓取主机数量,端口数据等,这都逃不开linu...

    七夜安全博客

扫码关注云+社区

领取腾讯云代金券