Spark云服务进展 (Databricks Runtime 3.0)

Databricks是spark商业孵化公司,主要做的工作是在AWS上提供SaaS化的spark服务。最近在databricks博客上公布了做的一些有意思的进展:

Databricks把这个称为Runtime artifact,包括Apache Spark和其他软件,如Scala,Python,DBIO和DBES。

以前,云上的版本和spark是同一个版本,Databricks准备和spark版本解耦出来,单独命名版本号,Databricks Runtime3.0配套spark 2.2。

相比spark,Databricks Runtime显著区别是:

  1. 使用DBIO提高性能: Databricks I / O模块或DBIO利用垂直集成的堆栈来显着提高Spark在云中的性能。这个组件的作用是spark垂直集成S3,提高性能和支持事物。
  2. DBES更强大的安全性: Databricks企业安全或DBES模块增加了静态和运动中的数据加密功能,细粒度数据访问控制和审计功能,以满足标准合规性(例如HIPAA,SOC2)和最严格的安全性对大型企业的要求。
  3. 显着降低运营复杂性:通过自动扩展计算资源和本地存储等功能,我们将Spark放在“自动驾驶仪”上,显着降低了运营复杂性和管理成本。
  4. 快速发布和早期访问新功能:与上游开源版本相比,Databricks的SaaS产品可以更快的发布周期,为我们的客户提供在开源版本中尚不可用的最新功能和错误修复。

相关博客:https://databricks.com/blog/2017/05/24/databricks-runtime-3-0-beta-delivers-enterprise-grade-apache-spark.html?utm_campaign=Databricks%20newsletter&utm_source=hs_email&utm_medium=email&utm_content=52589187&_hsenc=p2ANqtz--fpyaZ-Uf5AsJjJFjlmNbmLM1AhThXVAjmiB2Bs6QW5-oUsCj33orPZYangsTF3l6GqOsBC3B2ggwxE_q2JYL7IgFRQw&_hsmi=52590058

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏about云

12306网站:分布式内存数据技术为查询提速75倍

问题导读: 1、什么是GemFire分布式内存数据技术? 2、12306购票网站是如何实现大规模访问? 摘要: 背景和需求   中国铁路客户服务中心网...

3506
来自专栏互联网数据官iCDO

5招教你轻松获得手机App好评

引言:在应用程序方面,意见和评论也会影响到应用程序商店搜索结果的可见性,以及它们在app store中出现的概率。因此,如何能获得更多的好评呢?本文教你5招。 ...

3575
来自专栏挖掘大数据

60款顶级大数据开源工具汇总

说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来...

7030
来自专栏华章科技

【干货】全球大数据领域顶级开源工具汇总

Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。

1123
来自专栏hadoop学习笔记

hadoop分布式集群环境搭建安装规划

Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功。但对新手来说,运行环...

1345
来自专栏鹅厂网事

海量数据存储硬件平台解决思路

"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网...

4745
来自专栏技术小黑屋

工作利器:终于可以使用Markdown写邮件啦

本人作为一个Markdown重度依赖患者,一直深受Markdown的高效写作的恩惠,一直在探索如何在浏览器中写Gmail邮件也可以使用Markdown这种高效语...

831
来自专栏钱塘大数据

【干货】全球大数据领域顶级开源工具汇总

大数据技术领域正被越来越多的公司关注,而开源一直是大数据技术的灵魂。随着一些细分领域对大数据工具提出更高的期望和要求,一批更高效更有针对性的大数据工具先后诞生,...

3296
来自专栏web前端教室

纠结啊,PHP和前端学哪个?

这个问题是一个先行者计划的成员向我提出的,我直接用群规的第四条回复了他。不知道的请自己去看。 有空的时候我也想了下,PHP和前端学哪个?这根本不算是一个问题,先...

2399
来自专栏开源项目

码云周刊:谷歌 Chrome 新功能曝光;GitLab 称有 707 位用户超 5000 个项目丢失数据;下一代PC是这样的

1、2017 码云招聘-被窝已暖,漂洋过海来睡我 好吧,我承认这是一则寻人启事! 既然来了,何不今日将咱们彼此之间纯洁的革命友谊升华一下?外面冷我已将被窝暖好...

32811

扫码关注云+社区