AI 前线导读：本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》，在探讨流式系统方面本书是市面上难得一见的深度书籍，非常值得学习。 更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）
Elastic-Job支持 JAVA API 和 Spring 配置两种方式配置任务，这里我们使用 JAVA API 的形式来创建一个简单的任务入门，现在都是 Spring Boot 时代了，所以不建议使用 Spring 配置文件的形式。 Elastic-Job 需要依赖 Zookeeper 中间件，用于注册和协调作业分布式行为的组件，目前仅支持 Zookeeper。我们已经创建了 Zookeeper 集群！ 环境要求 1、Java 请使用 JDK 1.7 及其以上版本。 2、Zookeeper 请使用
分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。 DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到sinks。单机可以运行DAG，但本篇文章主要聚焦在多台机器上运行D
问题导读 1.Dataflow当前的API支持什么语言？ 2.相比原生的map-reduce模型，Dataflow哪些优点？ 3.Dataflow与Cascading、Spark有什么区别和联系？ 介绍 Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法，集成了许多内部技术，如用于数据高效并行化处理的Flume和具有良好容错机制流处理的MillWheel。Dataflow当前的API还只有Java版本（其实Flume本身是提供Java/C++/Python多种接
关于特征工程，业界有这么一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。
Google已经停用自己研发的，部署在服务器上，用以分析数据的MapReduce，转而支持一个新的超大规模云分析系统Cloud Dataflow。 MapReduce一直是服务器集群上做并行分布式计
Keras库为深度学习提供了一个相对简单的接口，使神经网络可以被大众使用。然而，我们面临的挑战之一是将Keras的探索模型转化为产品模型。Keras是用Python编写的，直到最近，这个语言之外的支持还很有限。虽然Flask，PySpark和Cloud ML等工具可以直接在Python中产品化模型，但我通常更喜欢使用Java来部署模型。
注：本文专用于2019年3月29日前的谷歌云专业数据工程师认证考试。此后我也做了一些更新，放在了Extras的部分。
张量处理单元（TPU）是能够大大加快深度学习模型训练速度的硬件加速器。在斯坦福大学进行的独立测试中，在 TPU 上训练的 ResNet-50 模型能够在 ImageNet 数据集上以最快的速度（30 分钟）达到预期的准确率。
谷歌昨日宣布，Apache Beam 在经过近一年的孵化后终于从 Apache 孵化器毕业，现在已经是一个成熟的顶级 Apache 项目。这一成就直接反应了社区为把 Beam 转变为开放、专业、社区驱动的项目所付出的努力。 11个月前，谷歌以及一些合作伙伴向 Apachee 软件基金会捐赠了大量代码，从而得以开始孵化 Beam 项目。这些代码的大部分来自谷歌的 Cloud Dataflow SDK，是开发者用来编写流处理（streaming）和批处理管道（batch pinelines）的库，可以在任何支持
Dataflow模型（或者说Beam模型）旨在建立一套准确可靠的关于流处理的解决方案。在Dataflow模型提出以前，流处理常被认为是一种不可靠但低延迟的处理方式，需要配合类似于MapReduce的准确但高延迟的批处理框架才能得到一个可靠的结果，这就是著名的Lambda架构。这种架构给应用带来了很多的麻烦，例如引入多套组件导致系统的复杂性、可维护性提高。因此Lambda架构遭到很多开发者的炮轰，并试图设计一套统一批流的架构减少这种复杂性。Spark 1.X的Mirco-Batch模型就尝试从批处理的角度处理流数据，将不间断的流数据切分为一个个微小的批处理块，从而可以使用批处理的transform操作处理数据。还有Jay提出的Kappa架构，使用类似于Kafka的日志型消息存储作为中间件，从流处理的角度处理批处理。在工程师的不断努力和尝试下，Dataflow模型孕育而生。
In the previous post we went through the necessary theory and also introduced popular streaming framework from Apache landscape - Storm, Trident, Spark Streaming, Samza and Flink. Today, we’re going to dig a little bit deeper and go through topics like fau
摘要：如何构建具备作业分片和弹性扩缩容的定时任务系统是每个大型业务系统在设计时需要考虑的重要问题？ 对于构建一般的业务系统来说，使用Quartz或者Spring Task即可基本满足我们的单体服用应用需要。然而随着线上业务量的不断发展，这两种定时任务已经日渐无法满足我们的需求。一般，使用这两种定时任务框架都会遇到如下的两个痛点问题： （1）如果业务工程采用集群化的部署，可能会多次重复执行定时任务而导致系统的业务逻辑错误，并产生系统故障。 （2）Quartz的集群方案具备HA功能，可以实现定时任务的分发，但是通过增加机器节点数量的方式并不能提高每次定时任务的执行效率，无法实现任务的弹性分片。 一线互联网大厂都有他们自己为其业务定制化研发的分布式定时任务系统，业务研发工程师可以通过在其Web Console的界面上进行简单的任务配置即可使得大型业务系统实现定时任务的调度、分发、分片、监控和扩缩容等功能。那么，业界是否有开源的组件框架同样具备这些功能呢？答案是肯定的！本文将向大家介绍一款开源的分布式定时任务调度框架—Elastic-Job的功能和原理，同时通过一个简单的案例阐述如何在Spring Boot工程完成Elastic-Job的集成。
AI 前线导读：2018 年接近尾声，AI 前线策划了“解读 2018”年终技术盘点系列文章，希望能够给读者清晰地梳理出重要技术领域在这一年来的发展和变化。本文是实时流计算 2018 年终盘点，作者对实时流计算技术的发展现状进行了深入剖析，并对当前大火的各个主流实时流计算框架做了全面、客观的对比，同时对未来流计算可能的发展方向进行预测和展望。
TFMA 是一个用于评估 TensorFlow 模型的库，它可以让用户使用 Trainer 里定义的指标以分布式方式评估大量数据的模型。这些指标也可以在不同的数据片里计算，其结果可以在 Jupyter Notebooks 里可视化。
为了方便用户为机器学习进行数据预处理，Google今天发布了tf.Transform。 以下内容来自Google Research Blog，量子位编译 每当要把机器学习用于真实的数据集时，我们都需要花很多精力来对数据进行预处理，把它们变成适用于神经网络等机器学习模型的格式。这个预处理过程有多种形式，包括格式之间的转换，或者标记化、词干文本和形成词汇，以及执行归一化等各种数值操作。 Google今天发布的tf.Transform是一个Tensorflow库，让用户可以使用大规模数据处理框架来定义预处理流程并
去年9月份，谷歌为Hadoop和Spark推出了Cloud Dataproc服务的beta版本，如今半年过去了，Cloud Dataproc服务已完成测试，现在可以被广泛使用。 谷歌在旧金山的一次活
为了连接到 TPU，我们必须配置一台虚拟机（单独结算）。要注意的是虚拟机和TPU是分别计费的。
本文介绍了如何使用 Apache Beam 实现 WordCount 程序，通过一个简单的 Maven 项目结构，展示了如何通过 Apache Beam 及其相关依赖和配置，使用 Spark、Flink 和 Apex 等大数据框架来运行并执行 WordCount 程序。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
