StreamingPro StreamingPro is not a complete application, but rather a extensible and programmable framework...StreamingPro also make it possible that all you should do to build streaming program is assembling components
准备工作 下载Spark 1.6.2 下载StreamingPro 我们假设你下载的StreamingPro包在/tmp目录下。.../bin/spark-submit --class streaming.core.StreamingApp \ --master local[2] \ --name test \ /tmp/streamingpro.../bin/spark-submit --class streaming.core.StreamingApp \ --master yarn-cluster\ --name test \ /tmp/streamingpro
前言 前些天可以让批处理的配置变得更优雅StreamingPro 支持多输入，多输出配置，现在流式计算也支持相同的配置方式了。...另外未来等另外一个项目稳定，会释放出来配合StreamingPro使用，它可以让你很方便的读写HBase,比如可以为HBase 表 添加mapping，类似ES的做法,也可以不用mapping，系统会自动为你创建列...目前StreamingPro只允许配置一个Kafka流,但是支持多个topic,按逗号分隔即可。你可以配置多个其他非流式源，比如从MySQL,Parquet,CSV同时读取数据并且映射成表。...-0.4.11 下载到包，然后用命令启动： SHome=/Users/allwefantasy/streamingpro ..../bin/spark-submit --class streaming.core.StreamingApp \ --master local[2] \ --name test \ $SHome/streamingpro
感受新语法 需要自己编译一个新版本，具体参看： https://github.com/allwefantasy/streamingpro/blob/master/README-CN.md 先启动一个StreamingPro...Rest Server: 准备一个只包含 {} 的query.json的文件（名字可以任意），然后按如下的方式启动即可： SHome=/Users/allwefantasy/streamingpro...spark-submit --class streaming.core.StreamingApp \ --master local[2] \ --name sql-interactive \ $SHome/streamingpro-spark...`/tmp/todd`; 为此，StreamingPro新添加了一个接口/run/script,专门为了执行脚本 curl --request POST \ --url http://127.0.0.1
Streaming 采用dataframe API,并且对流式计算重新进行了抽象，个人认为Spark streaming 更灵活，Structured Streaming 在某些场景则更方便，但是在StreamingPro...下载 Spark 2.0.2 based on scala-2.10 StreamingPro 预编译版本 假设我们都放在/tmp目录下 写逻辑 新建一个文件,/tmp/ss-test.json,内容如下..."format": "console" } ] } ], "configParams": { } } } StreamingPro.../bin/spark-submit --class streaming.core.StreamingApp \ --master local[2] \ --name test \ /tmp/streamingpro
所以这一版对底层做了很大的重构，StreamingPro目前支持Flink,Spark 1.6+, Spark 2.0+ 三个引擎了。...准备工作 下载streamingpro for spark 2.0的包,然后下载spark 2.1 的安装包。...你也可以在 streamingpro目录 找到spark 1.6+ 或者 flink的版本。...最新的大体会按如下格式统一格式了： streamingpro-spark-0.4.14-SNAPSHOT.jar 适配 spark 1.6+,scala 2.10 streamingpro-spark...然后运行spark程序： SHome=/Users/allwefantasy/streamingpro .
Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎...StreamingPro自身设计之初就是为了支持多引擎的，所以改造成本很低，昨天花了一下午，晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。...接着就是下载StreamingPro的 flink版本： https://pan.baidu.com/s/1slCpxxV 启动flink 进入flink安装目录运行如下命令： ..../bin/flink run -c streaming.core.StreamingApp \ /Users/allwefantasy/streamingpro/streamingpro.flink-...streaming.name god \ -streaming.platform flink_streaming \ -streaming.job.file.path file:///Users/allwefantasy/streamingpro
我们当然可以通过SQL的 UDF函数等来完成字符串解析，在streamingpro中也很简单，只要注册下你的UDF函数库即可： "udf_register": { "desc": "测试",...这里，你只是提供了一个map作为返回值，作为一行，然后以outputTableName指定的名字输出，作为下一条SQL的输入，所以StreamingPro需要推测出你的Schema。
前言 StreamingPro中的 streamingpro-manager 提供了部署，管理Spark任务的Web界面。轻量易用。...: git clone https://github.com/allwefantasy/streamingpro.git mvn clean package -pl streamingpro-manager...-am -Ponline -Pscala-2.11 -Pshade 之后你应该在streamingpro-manager/target有个jar包 创建数据库表 streamingpro-manager.../streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \ -yarnUrl yarn resource url地址 比如master.host:.../streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \ -yarnUrl yarn resource url地址 比如master.host:
正好自己也在力推 StreamingPro的MLSQL。 今天就来对比下这两款产品。...StreamingPro简介 StreamingPro是一套基于Spark的数据平台，MLSQL是基于StreamingPro的算法平台。...具体做法超级简单: 单机模型运行StreamingPro. 通过接口或者配置注册算法模型 register NaiveBayes.
StreamingPro可以使得你很简单通过一个命令就能体验Carbondata,并且支持Http/JDBC的访问形态。...下载StreamingPro 地址在这： https://pan.baidu.com/s/1eRO5Wga ，你会得到一个比较大的Jar包。...然后brew services start mysql 创建一个数据库： create database hive CHARACTER SET latin1 //如果数据库包字符异常啥的，启动完streamingpro...name>datanucleus.autoCreateSchema true 可以启动了 //streamingpro...jar包所处的目录， //里面新建一个query.json文件，里面放一个大括号就行 SHome=/Users/allwefantasy/streamingpro .
前言 最近给StreamingPro提供了两个新的模块，一个是streamingpro-manager,一个是streamingpro-api。...streamingpro-manager主要是提供一个部署，管理Spark任务的web服务。streamingpro则是增强了定制StreamingPro的能力。...当然，还有就是对原有功能的增强，比如StreamingPro SQL Server 支持异步导出数据，使得交互式查询中，如果有海量结果需要返回成为可能。...为了能够照顾灵活性，我们提供了三种方式让用户更好的使用StreamingPro完成自己的需求。 三种方案简介 通过添加UDF函数。 UDF函数是可以直接在SQL中使用的。算是一个比较自然的增强方案。...另外这些参数都是可以通过启动脚本配置和替换的，参看如何在命令行中指定StreamingPro的写入路径
之前StreamingPro是只能配置一个数据源的，所以做了些改造，方便配置多个数据源，以及多个写出。...最新的下载地址： https://pan.baidu.com/s/1eRO5Wga 依然的，比较大，因为现在他还能支持Thrift JDBC /Rest SQL： 使用StreamingPro 快速构建...将配置文件保存一下，然后就可以启动了： SHome=/Users/allwefantasy/streamingpro ..../bin/spark-submit --class streaming.core.StreamingApp \ --master local[2] \ --name test \ $SHome/streamingpro
前言 StreamingPro可以很容易让你搭建一个Spark SQL Server 服务，并且提供Http 格式的接口进行交互。...StreamingPro提供了同步和异步机制，将SQL的查询结果放在HDFS上。...如果是同步的话，执行完后返回下载地址（HTTP接口，StreamingPro提供），如果是异步，则会使用用户提供的回调函数告知任务完成，并且提供下载地址。...参考 如何自己打包 启动一个SQL Server SHome=/Users/allwefantasy/streamingpro ....sql : 查询SQL path: hdfs 暂存路径 callback: StreamingPro会调用该参数提供的接口告知下载地址。
源码构建简化 很多人吐槽StreamingPro构建实在太麻烦了。看源码都难。然后花了一天时间做了比较大重构，这次只依赖于ServiceFramework项目。.../dev/change-version-to-2.10.sh 接着就可以构建StreamingPro了： git clone https://github.com/allwefantasy/streamingpro.git...// for spark 1.6.* mvn -DskipTests clean package -pl streamingpro-spark -am -Ponline -Pscala-2.10...同时支持Spark Streaming 以及Structured Streaming Structured Streaming 的支持参看文章： StreamingPro 再次支持 Structured...启动方式如下： SHome=/Users/allwefantasy/streamingpro .
前言 StreamingPro在内部已经用在比较复杂的项目上了。所以导致配置文件巨复杂，之前同事提到这事，然后我自己把配置代码拉下来，看了下确实如此。...已经开源 因为是StreamingPro的一个辅助工具，所以也就直接开源出来了。代码还比较粗糙，相信后续会不断完善。streamingpro-editor2 。...在batch.streamingpro里写填写batch,然后点选 expandCode（你也可以去重新设置一个快捷键）， ?...SQL编辑支持 另外streamingpro-editor2也支持sql的编辑。在SQL处点击右键： ?...除了持续完成前面提及的功能外，后续有如下几个重点： 可以在Intellij Idea 中直接运行streamingpro配置文件 完善SQL的编辑功能
StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化 前言 StreamingPro 原来仅仅是用来作为Spark Streaming的一个配置化+SQL封装...今天就讲讲如何使用StreamingPro构建一个交互式查询引擎。...准备工作 下载StreamingPro README中有下载地址 如果你使用了 Spark 2.0 版本，则要下载对应页面上的Spark 安装包。...启动StreamingPro Local模式： cd $SPARK_HOME ..../jack 之后前端程序只要访问 /streamingpro/jack/address 就能获取IP和端口了。
在StreamingPro中的处理方式很简单，只要是Source或者Ouput,那么所有的配置都是可以在命令行中指定的。...比如我需要指定dbtable的时候，只要如下即可： SHome=/home/zhuhl/streamingpro spark-submit --class streaming.core.StreamingApp...\ --master yarn-cluster \ --name test \ $SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar
我们知道StreamingPro 是一个完全SQL/Script化的，基于Spark平台的一套生产力工具。...下载地址：StreamingPro
StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化 前言 今天介绍利用 StreamingPro 完成批处理的流程。...准备工作 下载StreamingPro README中有下载地址 我们假设您将文件放在了/tmp目录下。 填写配置文件 实例一,我要把数据从ES导出到HDFS,并且形成csv格式。...启动StreamingPro Local模式： cd $SPARK_HOME ..../bin/spark-submit --class streaming.core.StreamingApp \ --master local[2] \ --name test \ /tmp/streamingpro...bin/spark-submit --class streaming.core.StreamingApp \ --master yarn-cluster \ --name test \ /tmp/streamingpro
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
