腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

祝威廉

专栏作者

308

文章

202952

阅读量

44

订阅数

StreamingPro 提供API实现自定义功能前言

api spark sql server

最近给StreamingPro提供了两个新的模块，一个是streamingpro-manager,一个是streamingpro-api。 streamingpro-manager主要是提供一个部署，管理Spark任务的web服务。streamingpro则是增强了定制StreamingPro的能力。当然，还有就是对原有功能的增强，比如StreamingPro SQL Server 支持异步导出数据，使得交互式查询中，如果有海量结果需要返回成为可能。

2018-08-27

5820

StreamingPro SQL Server 支持异步导出数据

sql server spark sql

StreamingPro可以很容易让你搭建一个Spark SQL Server 服务，并且提供Http 格式的接口进行交互。通常查询结果较小，但是如果用户的SQL可能会产生几G甚至几十G的结果，那么Driver 就直接挂了。StreamingPro提供了同步和异步机制，将SQL的查询结果放在HDFS上。如果是同步的话，执行完后返回下载地址（HTTP接口，StreamingPro提供），如果是异步，则会使用用户提供的回调函数告知任务完成，并且提供下载地址。

2018-08-27

4410

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态