使用Crontab定时执行Spark任务【面试+工作】

使用Crontab定时执行Spark任务【面试+工作】

本文的主要内容有:

  • Linux下使用定时器crontab
  • Linux下如何编写Perl脚本
  • 在Java程序中调用Linux命令
  • 实例:每天0点30分执行Spark任务

1. Linux下使用定时器crontab

1、安装

2、启停命令

3、查看所有定时器任务

这个定时器任务是每分钟用sh执行test.sh脚本

4、添加定时器任务

5、crontab的时间表达式

基本格式 :

6、常用实例

2. Linux下编写Perl脚本

1、首先安装Perl

2、写一个最简单的Perl脚本

内容如下:

第一个“#”表示是这一行是注释 第二个“!”表示这一行不是普通注释,而是解释器路径的声明行 后面的“/usr/bin/perl”是perl解释器的安装路径,也有可能是:“/usr/local/bin/perl”,如果那个不行,就换这个 use strict是严格检查语法

3、给该脚本添加可执行权限

Linux档案的基本权限有9个,分别是owner/group/other三种身份各有read/write/execute权限,而各权限的分数对照是r:4,w:2,x:1; 每种身份的权限都是需要累加的,比如当权限是[-rwxrwx—],则表明: owner:rwx=4+2+1=7 group:rwx=4+2+1=7 other:—=0+0+0=0 即该档案的权限数字就是770

4、然后执行该Perl文件即可

由于我们声明了解释器路径,所以不需要使用perl test.pl,而是直接 ./ 就可以执行了

技术图谱大赏

3. 在Java程序中调用Linux命令

主要用到两个类Process和Runtime,代码示例如下:

如果-c 选项存在,命令就从字符串中读取

4. 实例:每天0点30分执行Spark任务

1、首先编写执行Spark任务的Perl脚本:getappinfo.pl

2、添加定时器任务:每天的0点30分执行getappinfo.pl

添加以下内容:

3、脚本中的Spark程序如下:

这个程序首先从Hive中查询数据并展示出来,然后再调用Linux的shell执行另一个Perl脚本getappinfo_new.pl,我们可以在这个脚本中写入其他操作

原文发布于微信公众号 - Java帮帮(javahelp)

原文发表时间:2018-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Puppeteer学习

一步一步学Vue(八)

16320
来自专栏向治洪

在Mac上搭建React Native开发环境

概述 前面我们介绍过在window环境下开发React Native项目,今天说说怎么在mac上搭建一个RN的开发环境。 配置mac开发环境 基本环境安装 1....

23780
来自专栏西枫里博客

宝塔面板下升级到PHP7.2,无法查看phpinfo的解决办法。

自从建站后没多久,就把PHP的版本升级到7了,后续有升级到7.2了,一直也没关注过phpinfo的信息,今天小伙伴在群里说我草,phpinfo都看不到,我大概想...

22420
来自专栏前端小叙

微信公众号复制的图片可以正常显示的办法

通过浏览多方文章,找到了一个 非常好用但是也有很大的坑的办法: 在页面中加meta: <meta name="referrer" content="never"...

2.7K90
来自专栏马涛涛的专栏

webpack@3简单使用

这篇博客用的是webpack3的版本,作为入门理解学习 非原创,只为学习记录。博客大部分内容引用来源如下:

28060
来自专栏炉边夜话

在Debian中打造属于自己的deb包

问题:如果你要在Debian系统中发布一款软件或者一个包,该如何做呢?如果你的项目中有各种二进制包,该如何维护呢?如果你自己做了一款小小的实用软件,该如何与朋友...

29220
来自专栏Linux驱动

23.QT记事本

源码下载地址: https://download.csdn.net/download/qq_37997682/10453294

15930
来自专栏Hadoop实操

Azkaban的使用及Command作业创建

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproje...

1.2K100
来自专栏分享达人秀

熟悉Android Studio界面,开始装逼卖萌

通过前两期的学习,我们可以正确搭建好Android Studio的开发环境,也创建了HelloWorld工程并成功运行,那么本期就带你一起来了解这款强大...

42160
来自专栏大数据挖掘DT机器学习

Python使用pyQuery解析HTML内容

pyQuery 是 jQuery 的Python实现,如果对Web前端有了解,特别是有用过 jQuery 的,那么 pyQuery 将会是你处理HTML内容的最...

440100

扫码关注云+社区

领取腾讯云代金券