Spark云服务进展 (Databricks Runtime 3.0)

Databricks是spark商业孵化公司,主要做的工作是在AWS上提供SaaS化的spark服务。最近在databricks博客上公布了做的一些有意思的进展:

Databricks把这个称为Runtime artifact,包括Apache Spark和其他软件,如Scala,Python,DBIO和DBES。

以前,云上的版本和spark是同一个版本,Databricks准备和spark版本解耦出来,单独命名版本号,Databricks Runtime3.0配套spark 2.2。

相比spark,Databricks Runtime显著区别是:

  1. 使用DBIO提高性能: Databricks I / O模块或DBIO利用垂直集成的堆栈来显着提高Spark在云中的性能。这个组件的作用是spark垂直集成S3,提高性能和支持事物。
  2. DBES更强大的安全性: Databricks企业安全或DBES模块增加了静态和运动中的数据加密功能,细粒度数据访问控制和审计功能,以满足标准合规性(例如HIPAA,SOC2)和最严格的安全性对大型企业的要求。
  3. 显着降低运营复杂性:通过自动扩展计算资源和本地存储等功能,我们将Spark放在“自动驾驶仪”上,显着降低了运营复杂性和管理成本。
  4. 快速发布和早期访问新功能:与上游开源版本相比,Databricks的SaaS产品可以更快的发布周期,为我们的客户提供在开源版本中尚不可用的最新功能和错误修复。

相关博客:https://databricks.com/blog/2017/05/24/databricks-runtime-3-0-beta-delivers-enterprise-grade-apache-spark.html?utm_campaign=Databricks%20newsletter&utm_source=hs_email&utm_medium=email&utm_content=52589187&_hsenc=p2ANqtz--fpyaZ-Uf5AsJjJFjlmNbmLM1AhThXVAjmiB2Bs6QW5-oUsCj33orPZYangsTF3l6GqOsBC3B2ggwxE_q2JYL7IgFRQw&_hsmi=52590058

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-06-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏MongoDB中文社区

微服务下的数据架构

微服务是一个软件架构模式,对微服务的讨论大多集中在容器或其他技术是否能很好的实施微服务,而本文将从以下几个角度来和大家分享在微服务架构下进行数据设计需要关注的地...

762
来自专栏腾讯大讲堂的专栏

微信又更新了!这个新功能大家等了五年

1345
来自专栏ThoughtWorks

2015.5 技术雷达 | 技术篇

(点击图片可查看大图) 当多个独立开发的服务通过 API 交互的时候,API 提供端的改动会让它所有的消费端调用失败。消费端服务通常也不会直接去连接处于开发中...

2805
来自专栏Youngxj

[seo]实用的博客SEO优化方案

1517
来自专栏EAWorld

企业级BPM之微服务架构演进

BPM平台在各行业的IT架构中都是重要的基础支撑平台,十二五期间,企业级BPM作为SOA体系下的关键组件,经历了一个加速建设的过程。我们也有幸参与了一些行业的流...

3829
来自专栏web前端教室

前端新人参加工作之后的技术短板在哪里?

这几天我找一些同学聊天,聊一些关于学习、工作的内容,想知道他们现在的境况,想了解他们真正的需求在哪。

1115
来自专栏智能计算时代

[微服务架构 ] 微服务- 生存还是毁灭!

上周,我谈到了作为一系列微服务开发的产品技术架构。谈话几分钟后,很明显团队已经支付了微服务高级版,但没有明显的投资回报。这组微服务是由一个由10名工程师组成的团...

883
来自专栏CSDN技术头条

如何创建一条可靠的实时数据流

数据的生命周期一般包含“生成、传输、消费”三个阶段。在有些场景下,我们需要将数据的变化快速地反馈到在线服务中,因此出现了实时数据流的概念。如何衡量数据流是否“可...

1878
来自专栏CSDN技术头条

干货丨通过HTTP/2实现每天处理400GB图片的实践

如今确定下来的HTTP/2规格已经引发了web性能社区的广泛关注。新协议旨在解决老旧的HTTP/1.x协议相关的常见网络性能问题,同时还要保留老协议的现有语义。...

18710
来自专栏我是攻城师

10+年程序员总结的20+条经验教训

3367

扫码关注云+社区