2015.5 技术雷达 | 平台篇

(点击图片可查看大图）

Apache Spark（spark.apache.org）作为一种快速和通用的大规模数据处理引擎已取得稳步进展。该引擎基于Scala实现，非常适合于那些在多并行操作之间重用数据工作集的应用程序。它即可以作为一个独立集群，也可以作为Hadoop的YARN集群的一部分来工作。它可以从不同的源来访问数据，比如 HDFS，Cassandra，S3 等。不仅如此，Spark还提供了许多更高级的操作符，以便简化数据并行应用程序的开发。作为一种通用的数据处理平台，它使许多更高级别的工具的开发成为可能，如交互式SQL（Spark SQL），实时流媒体（Spark Streaming），机器学习库（MLib），R-on-Spark等。

一段时间以来，Hadoop 社区一直在尝试把低延迟和交互式 SQL 查询能力带到Hadoop平台中（称为SQL-on-Hapdoop)。开源数据库引擎 Cloudera Impala，Apache Drill 和 Facebook的 Presto 都在2014年应运而生。我们认为，SQL-on-Hadoop 这一趋势标志着一个重要的转折，它将 Hadoop 的定位从与数据库互补的批处理，转变为某种可以与之竞争的技术。

Cloudera Impala（cloudera.com/content/cloudera/en/ products-and-services/cdh/impala.html）是早期的SQL-on-Hadoop 平台之一。它是一个基于C++的，支持大规模并行处理的分布式查询引擎。Impala 守护进程是这个平台的核心组件，其负责协调 Impala 集群中跨一个或多个节点间 SQL 查询的执行。 Impala 充分利用了 Hive 的元数据目录来共享两者的数据库和表。Impala 还提供了命令行工具以及 JDBC 和 ODBC 驱动程序供应用程序使用。

密码仍然是一种糟糕的用户认证机制。近来我们看到有公司（如Yahoo!）采用了“无密码”的解决方案——每当你需要从一个新的浏览器登录时，一个一次性验证码会被发送到你的手机来进行认证。如果你仍在使用密码认证，我们推荐您采用能够显著提高安全性的双阶段认证（two-factor authentication）机制。基于时间的一次性密码算法（TOTP）（en.wikipedia.org/wiki/Time-based_One-time_Password_Algorithm）是目前这个领域的标准，在 Google（play.google.com/store/apps/details?id=com.google.android.apps.authenticator2）和 Microsoft（windowsphone.com/en-us/store/app/authenticator/e7994dbc-2336- 4950-91ba-ca22d653759b）智能手机中都这样免费的认证应用。

Apache Kylin (kylin.io)，是一个来自 eBay 公司的开源数据分析解决方案，它能够在超大数据集上进行基于 SQL 的多维度分析（OLAP）。Kylin 旨在构建一个基于 Hadoop 的混合 OLAP (HOLAP) 解决方案，最终将能够支持 MOLAP 和 ROLAP 风格的多维分析。你可以使用 Kylin 所提供的立方体设计器来定义立方体，并启动一个离线进程来构建它们。离线进程会进行一个预连接的步骤，将事实表和维度表连接到一个扁平化的结构中。下一个是预聚合阶段，各个单独的立方体被 Map Reduce 任务会构建出来。其结果被存储在 HDFS 序列文件中，之后被载入 HBase 。数据请求可以由基于 SQL 的工具提交 SQL 产生。查询引擎（基于 Apache Calcite）会决定目标数据集是否在 HBase 中存在。如果存在，该引擎会直接访问 HBase 中的目标数据，以次秒级延迟返回结果。如果目标数据集不存在，该引擎会将这些查询转向 Hive（或者是集群中任何其它可以用 SQL 查询 Hadoop 的方案）。

CoreCLR (github.com/dotnet/coreclr) 和 CoreFX (github.com/dotnet/corefx) 是 .NET 的核心平台和框架。虽然算不上是什么新闻，他们最近被微软开源了。一个主要的变化是这些依赖是基于二进制文件来部署的，不再需要事先安装在机器上。这使得并行部署变得容易，允许应用程序可以无冲突的使用不同版本的 .NET 框架。你可以安装 .NET 依赖到任何环境中，基于 .NET 编写代码成为了一个实现细节。从外部依赖的角度来看，一个用.NET实现的工具与用 C 语言编写的东西并没有什么不同，这就使它成为编写通用应用程序和工具的一个更有吸引力的选择。CoreFX 也已被分解为独立的 NuGet 依赖，从而使应用能够按需使用，这让 .NET 的应用和库占的空间的更小，并使得替换部分框架更加容易。

Heroku 用它的12要素应用模型改变了我们关于构建、部署、托管 Web 应用的方式。Deis (deis.io) 将 Heroku PaaS 模型封装到一个开源框架中，部署在可被托管在任何地方的 Docker 容器中。Deis 仍在进化当中，但对于那些符合12要素模型的应用来说，它具备大大简化部署，并在你自选的环境中进行托管的潜力。Deis 也已成为 Docker 周边丰富的平台和工具生态系统中的又一鲜活事例。

预测分析在越来越多的产品中被使用，而且通常出现在面向最终用户的功能上。H2O (docs.0xdata.com) 是一套非常有意思的新开源工具包（其背后是一家创业公司），因为其易用的用户界面设计，使得预测分析对项目组更可用。同时它还集成了数据科学家最喜欢的一些工具：R 和 Python 语言，以及 Hadoop 和 Spark。H2O提供了很高的性能，并且依我们的经验，非常易于在运行时集成，特别是在基于 Java 虚拟机的平台上。

当 Oracle 决定停止对 Sun 公司的 OpenSSO（一个开源的访问管理平台）进行开发时，ForgeRock 决定接管它并将它集成进他们的 Open Identity Suite 中。现在它被命名为 OpenAM (forgerock.com/ products/open-identity-stack/openam) ，成为了一个支撑 OpenID 连接和 SAML 2.0的可扩展的开放源码平台。不过，由于 OpenAM 历史悠久，导致它的代码库很庞大，并且文档也很难理解。希望在不久后，一个更轻量级的，对自动化部署和配置提供更好支持的替代方案将会出现。

Spark 是基于云的互联设备全栈解决方案，Spark Photon 是一个带 wifi 模块的微控制器，而 Spark electron 是连接到移动网络的变体。Spark 操作系统为这些设备添加了 REST API 服务。这套解决方案降低了进入物联网，并构建你自己的可连接设备的门槛。

时间序列数据库（TSDB）是一种针对时间序列数据的处理做了优化的系统。它允许用户对各种以时间序列组织起来的数据库对象进行 CRUD 操作。同时它还可以在整个序列上执行统计计算。虽然时间序列数据库不是一个新的技术，但是我们还是在这些数据库应用中看到了一些新的热点，尤其是在物联网应用领域。在许多开源和商业平台（比如OpenTSDB, InfluxDB, Druid, BlueFloodDB 等等）的促进下，时间序列数据库技术发展迅猛。另外还值得一提的是，其中一些数据库产品还使用了类似 Cassandra 和 HBase 的分布式数据库作为他们的底层存储引擎。

容器技术，PhoenixServer 以及持续交付的崛起已经开始让我们摆脱昔日部署 Web 应用的方式。传统方式是我们需要构建出应用工件，然后将工件安装到应用服务器中。这种方式会导致较长的反馈周期，构建时间的变长，以及在生产环境中管理这些应用服务器的开销变大。除此之外，这些应用服务器也很难做自动化。在与我们一同工作的很多团队中，开始倾向于将 HTTP 服务器嵌入到应用中。有很多可以选择的嵌入式服务器：Jetty, SimpleWeb, Webbit 和 Owin 等。更容易做自动化，更容易做部署，对基础设施的投入也会减少，因此我们推荐在未来的项目中使用嵌入式的应用服务器而不是传统的应用服务器。

Google 从2009年开发了一个实验性质的协议 SPDY (chromium.org/spdy/spdy-whitepaper)，作为一个替代协议，它用于解决 HTTP/1.1中的一些性能短板。新的 HTTP/2 标准协议包含了很多 SPDY 中性能优化的关键特性，Google 已经宣布从2016年初就会停止在浏览器中支持 SPDY。因此，如果你的应用需要 SPDY 中的特性，我们推荐你去尝试 HTTP/2。