专栏首页祝威廉StreamingPro manager 服务部署指南

StreamingPro manager 服务部署指南

前言

StreamingPro中的 streamingpro-manager 提供了部署,管理Spark任务的Web界面。轻量易用。

编译

编译SF框架:

git clone https://github.com/allwefantasy/ServiceFramework.git
cd ServiceFramework
mvn install -Pscala-2.11 -Pjetty-9 -Pweb-include-jetty-9

编译streamingpro-manager:

git clone https://github.com/allwefantasy/streamingpro.git
mvn clean package  -pl streamingpro-manager -am  -Ponline -Pscala-2.11  -Pshade

之后你应该在streamingpro-manager/target有个jar包

创建数据库表

streamingpro-manager 的resource 目录有个sql文件,大家可以根据其创建表库。

启动以及启动参数

java -cp ./streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \
-yarnUrl yarn resource url地址 比如master.host:8080 \
-jdbcPath  /tmp/jdbc.properties \
-envPath   /tmp/env.properties

jdbcPath指定jdbc连接参数,比如:

url=jdbc:mysql://127.0.0.1:3306/spark_jobs?characterEncoding=utf8
userName=wow
password=wow

你也可以把这些参数写到启动参数里。但是前面加上jdbc.前缀就可。比如:

java -cp ./streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \
-yarnUrl yarn resource url地址 比如master.host:8080 \
-jdbc.url a \
-jdbc.userName a \
-jdbc. password b 

envPath 里面放置的是你为了使用spark-submit 需要配置的一些参数,比如:

export SPARK_HOME=/opt/spark-2.1.1;export HADOOP_CONF_DIR=/etc/hadoop/conf;cd $SPARK_HOME;

管理界面

第一个界面是上传Jar包:

WX20170716-165826@2x.png

第二界面是提交任务:

WX20170716-165856@2x.png

勾选依赖的jar包,选择主jar包,然后做一些参数配置,然后点击提交会进入一个进度界面。

第三个界面是管理页面。

WX20170716-165808@2x.png

任务能够被监控是要求已经在Yarn上申请到了applicationid。所以如果提交失败了,点击监控按钮是无效的。如果你的程序已经提交过一次并且获得过applicationid,那么你点击监控后,程序30s会扫描一次,并且自动拉起那些没有在运行的程序(比如失败了或者自己跑完了)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ChatBot framework 开发实践

    通常而言,通用聊天机器人(比如小冰等)底层技术是采用类似Seq2Seq等“生成”技术的。但是这种机器人属于探索性质,无法 提供特定的服务。而Siri则是兼具闲...

    用户2936994
  • StreamingPro-Editor, 基于Intellij Idea 的编辑器插件发布

    StreamingPro在内部已经用在比较复杂的项目上了。所以导致配置文件巨复杂,之前同事提到这事,然后我自己把配置代码拉下来,看了下确实如此。一开始想着能否利...

    用户2936994
  • StreamingPro 基于Spark 2.1.1版本 支持Spark Streaming

    很多人吐槽StreamingPro构建实在太麻烦了。看源码都难。然后花了一天时间做了比较大重构,这次只依赖于ServiceFramework项目。具体构建方式如...

    用户2936994
  • 2019-2-24-元组投影初始值设定项

    使用过命名元组的同学都知道,命名元组可以使用“有意义的字段名”来代替Item,用于表示元组的成员。在C#7.1中引入了“元组投影初始值设定项”(tuple pr...

    黄腾霄
  • 详述使用 IntelliJ IDEA 解决 jar 包冲突的问题

    在实际的 Maven 项目开发中,由于项目引入的依赖过多,遇到 jar 冲突算是一个很常见的问题了。在本文中,我们就一起来看看,如何使用 IntelliJ ID...

    CG国斌
  • 详述使用 IntelliJ IDEA 解决 jar 包冲突的问题

    版权声明:Follow your heart and intuition. https://...

    CG国斌
  • Java 将图片转换成base64编码字符串

    那么这是什么呢?这是Data URI scheme。 Data URI scheme是在RFC2397中定义的,目的是将一些小的数据,直接嵌入到网页中,从而不...

    飞奔去旅行
  • Java jar包运行方式

    特点:当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出

    Little JAVA
  • K8s二进制升级从1.14.2至1.16.2

    升级前准备 master节点组件: kubectl,kube-apiserver,kube-controller-manager,kube-scheduler

    院长技术
  • 听云SDK发布《中国移动应用性能管理白皮书》:高德路径规划API接口响应耗时最短

    移动互联网时代,各种应用都在抢占移动APP市场。据统计,2017年全球手机用户人数将突破50亿人,发展速度远远超过传统互联网,中国亦如是。相应的,中国的移动应用...

    BestSDK

扫码关注云+社区

领取腾讯云代金券