StreamingPro SQL Server 支持异步导出数据

前言

StreamingPro可以很容易让你搭建一个Spark SQL Server 服务,并且提供Http 格式的接口进行交互。通常查询结果较小,但是如果用户的SQL可能会产生几G甚至几十G的结果,那么Driver 就直接挂了。StreamingPro提供了同步和异步机制,将SQL的查询结果放在HDFS上。如果是同步的话,执行完后返回下载地址(HTTP接口,StreamingPro提供),如果是异步,则会使用用户提供的回调函数告知任务完成,并且提供下载地址。

编译新版本

目前该功能只支持spark 2 以上的版本。 参考 如何自己打包

启动一个SQL Server

SHome=/Users/allwefantasy/streamingpro

./bin/spark-submit   --class streaming.core.StreamingApp \
--master local[2] \
--name sql-interactive \
$SHome/streamingpro-spark-2.0-0.4.15-SNAPSHOT.jar    \
-streaming.name sql-interactive    \
-streaming.job.file.path file://$SHome/query.json \
-streaming.platform spark   \
-streaming.rest true   \
-streaming.driver.port 9003   \
-streaming.spark.service true \
-streaming.thrift true \
-streaming.enableHiveSupport true 

query.json 的内容为:

{}

准备数据

创建一张表:

//CREATE TABLE IF NOT EXISTS zhl_table(id string, name string, city string, age Int) 
curl --request POST \
  --url http://127.0.0.1:9003/run/sql \
  --data 'sql=CREATE%20TABLE%20IF%20NOT%20EXISTS%20zhl_table(id%20string%2C%20name%20string%2C%20city%20string%2C%20age%20Int)%20'

导入数据: 你可以随便创建一个csv格式的数据,然后按如下方式导入

//LOAD DATA LOCAL INPATH  '/Users/allwefantasy/streamingpro/sample.csv'  INTO TABLE zhl_table
curl --request POST \
  --url http://127.0.0.1:9003/run/sql \
  --data 'sql=LOAD%20DATA%20LOCAL%20INPATH%20%20'\''%2FUsers%2Fallwefantasy%2Fstreamingpro%2Fsample.csv'\''%20%20INTO%20TABLE%20zhl_table'

异步导出数据:

curl --request POST \
  --url http://127.0.0.1:9003/run/sql \
  --data 'sql=select%20*%20from%20zhl_table&async=true&resultType=file&path=%2Ftmp%2Fjack&callback=http%3A%2F%2F127.0.0.1%3A9003%2Fpull'

WX20170711-153834.png

接口会返回一个空数组。

  • async: true,异步返回。
  • sql : 查询SQL
  • path: hdfs 暂存路径
  • callback: StreamingPro会调用该参数提供的接口告知下载地址。

同步导出数据:

  • async: false
  • sql : 查询SQL
  • resultType: file
  • path: hdfs 暂存路径

接口会返回下载路径。将该路径黏贴到浏览器上即可下载文件。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python小屋

使用Python开发SQLite代理服务器

SQLite数据库使用单个磁盘文件,并且不需要像Oracle、MSSQL、MySQL等数据库管理系统那样启动服务,使用非常灵活方便。但是SQLite也有个很严重...

45160
来自专栏james大数据架构

Access数据库多表连接查询

第一次在Access中写多表查询,就按照MS数据库中的写法,结果报语法错,原来Access的多表连接查询是不一样的 表A、B、C,A关联B,B关联C,均用ID键...

31260
来自专栏数据和云

12c create spfile的警示

在12c中,create spfile命令又有了新的参数变更,引入了as copy选项,这个变化是由于一个Bug引入的。 通过以下的测试和验证过程,大家会发现新...

30550
来自专栏北京马哥教育

CentOS下MySQL移至MariaDB

Google都将MySQL移至MariaDB了,我的朋友也Ubuntu下移至MariaDB,我还是不能落后吧,今天将CentOS下MySQL移至MariaDB...

31470

使用CentOS 7上的Postfix,Dovecot和MariaDB发送电子邮件

Postfix邮件传输代理(MTA)是一种高性能的开源电子邮件服务器系统。本指南将帮助您在CentOS 7 Linode上运行Postfix,使用Dovecot...

26630
来自专栏逸鹏说道

30分钟全面解析-SQL事务+隔离级别+阻塞+死锁

阅读目录 概述: 一、事务 二、锁 三、阻塞 三、隔离级别 四.死锁 以前总是追求新东西,发现基础才是最重要的,今年主要的目标是精通SQL查询和SQL性能...

29850
来自专栏北京马哥教育

pt-table-checksum使用实践

在工作中接触最多的就是mysql replication。由于现在公司也还在使用mysql 5.1.x版本,在复制方面还是比较多的问题: 比如主库宕机或者从库宕...

1.1K80
来自专栏MYSQL轻松学

你真的熟悉MySQL权限吗?

(以下操作都是以root身份登陆进行grant授权,以root@localhost身份登陆执行各种命令。) MySQL包含哪些权限,共29个。 权限说明举例us...

49030
来自专栏Ken的杂谈

CentOS 6/7 下MySQL 8.0 安装部署与配置

91170
来自专栏Laoqi's Linux运维专列

4种备份MySQL数据库(基本备份方面问题不大了)

1.6K60

扫码关注云+社区

领取腾讯云代金券