Spark云服务进展 （Databricks Runtime 3.0）

Databricks是spark商业孵化公司，主要做的工作是在AWS上提供SaaS化的spark服务。最近在databricks博客上公布了做的一些有意思的进展：

Databricks把这个称为Runtime artifact，包括Apache Spark和其他软件，如Scala，Python，DBIO和DBES。

以前，云上的版本和spark是同一个版本，Databricks准备和spark版本解耦出来，单独命名版本号，Databricks Runtime3.0配套spark 2.2。

相比spark，Databricks Runtime显著区别是：

1. 使用DBIO提高性能： Databricks I / O模块或DBIO利用垂直集成的堆栈来显着提高Spark在云中的性能。这个组件的作用是spark垂直集成S3，提高性能和支持事物。
2. DBES更强大的安全性： Databricks企业安全或DBES模块增加了静态和运动中的数据加密功能，细粒度数据访问控制和审计功能，以满足标准合规性（例如HIPAA，SOC2）和最严格的安全性对大型企业的要求。
3. 显着降低运营复杂性：通过自动扩展计算资源和本地存储等功能，我们将Spark放在“自动驾驶仪”上，显着降低了运营复杂性和管理成本。
4. 快速发布和早期访问新功能：与上游开源版本相比，Databricks的SaaS产品可以更快的发布周期，为我们的客户提供在开源版本中尚不可用的最新功能和错误修复。

相关博客：https://databricks.com/blog/2017/05/24/databricks-runtime-3-0-beta-delivers-enterprise-grade-apache-spark.html?utm_campaign=Databricks%20newsletter&utm_source=hs_email&utm_medium=email&utm_content=52589187&_hsenc=p2ANqtz--fpyaZ-Uf5AsJjJFjlmNbmLM1AhThXVAjmiB2Bs6QW5-oUsCj33orPZYangsTF3l6GqOsBC3B2ggwxE_q2JYL7IgFRQw&_hsmi=52590058