大数据处理其实经常被很多人低估，缺乏正确的处理体系，其实，如果没有高质量的数据处理流程，人工智能将只有人工而没有智能。现在的趋势是数据体量不断上涨，团队却低估了规模所带来的复杂度。大数据领域泰斗级人物Jesse Anderson曾做过研究，一个组织架构比较合理的人工智能团队，数据处理工程师需要占团队总人数的4/5，然而很多团队还没有认识到这点。大数据处理涉及大量复杂因素，而Apache Beam恰恰可以降低数据处理的难度，它是一个概念产品，所有使用者都可以根据它的概念继续拓展。
导读：大家好，很荣幸跟大家分享 Apache Beam 架构原理及应用实践。讲这门课之前大家可以想想，从进入 IT 行业以来，不停的搬运数据，不管职务为前端，还是后台服务器端开发。随着这两年科技的发展，各种数据库，数据源，应运而生，大数据组件，框架也是千变万化，从 Hadoop 到现在的 Spark、Flink，数据库从先前的 oracle、MySQL 到现在的 NOSQL，不断延伸。那么有没有统一的框架，统一的数据源搬砖工具呢？
Beam可以解决什么问题？当MapReduce作业从Hadoop迁移到Spark或Flink，就需要大量的重构。Dataflow试图成为代码和执行运行时环境之间的一个抽象层。代码用Dataflow SDK实施后，会在多个后端上运行，比如Flink和Spark。Beam支持Java和Python，与其他语言绑定的机制在开发中。它旨在将多种语言、框架和SDK整合到一个统一的编程模型。
作者 | Fabio Hiroki 译者 | 明知山 策划 | 丁晓昀 在本文中，我们将介绍 Apache Beam，这是一个强大的批处理和流式处理开源项目，eBay 等大公司用它来集成流式处理管道，Mozilla 用它来在系统之间安全地移动数据。 概 览 Apache Beam 是一种处理数据的编程模型，支持批处理和流式处理。 你可以使用它提供的 Java、Python 和 Go SDK 开发管道，然后选择运行管道的后端。 Apache Beam 的优势 Beam 的编程模型 内
Beam提供了一套统一的API来处理两种数据处理模式（批和流），让我们只需要将注意力专注于在数据处理的算法上，而不用再花时间去对两种数据处理模式上的差异进行维护。
为了方便用户为机器学习进行数据预处理，Google今天发布了tf.Transform。 以下内容来自Google Research Blog，量子位编译 每当要把机器学习用于真实的数据集时，我们都需要花很多精力来对数据进行预处理，把它们变成适用于神经网络等机器学习模型的格式。这个预处理过程有多种形式，包括格式之间的转换，或者标记化、词干文本和形成词汇，以及执行归一化等各种数值操作。 Google今天发布的tf.Transform是一个Tensorflow库，让用户可以使用大规模数据处理框架来定义预处理流程并
关于特征工程，业界有这么一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。
大规模数据处理技术如果从MapReduce论文算起，已经前后跨越了十六年。我们先沿着时间线看一下大规模数据处理的重要技术和它们产生的年代。后面从MapReduce到Spark、Flink、Beam的演进特性来看大规模数据处理计算引擎应该具备什么样的能力。
一年一度由世界知名科技媒体InfoWorld评选的Bossie Awards于2016年9月21日公布，评选了最佳大数据工具奖，最佳大数据应用奖，最佳网络与安全奖等多个奖项。在最佳开源大数据工具奖中，
Apache Beam是Google开源的，旨在统一批处理和流处理的编程范式，核心思想是将批处理和流处理都抽象成Pipeline、Pcollection、PTransform三个概念。Apache Beam本身是不具备计算功能的，数据的交换和计算都是由底层的工作流引擎（Apache Apex, Apache Flink, Apache Spark, and Google Cloud Dataflow）完成，由各个计算引擎提供Runner供Apache Beam调用，而Apache Beam提供了Java、Python、Go语言三个SDK供开发者使用。
我们的产品需要对来自不同数据源的大数据进行采集，从数据源的多样化以及处理数据的低延迟与可伸缩角度考虑，需要选择适合项目的大数据流处理平台。 我最初列出的候选平台包括Flume、Flink、Kafka Streaming以及Spark Streaming。然而对产品架构而言，这个技术选型的决策可谓举足轻重，倘若选择不当，可能会导致较大的修改成本，须得慎之又慎。 我除了在项目中曾经使用过Flume、Kafka以及Spark Streaming之外，对其余平台并不甚了解。即便是用过的这几个平台，也了解得比较
AI 前线导读：本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》，在探讨流式系统方面本书是市面上难得一见的深度书籍，非常值得学习。 更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）
Paper1: https://research.google.com/pubs/archive/35650.pdf
谷歌昨日宣布，Apache Beam 在经过近一年的孵化后终于从 Apache 孵化器毕业，现在已经是一个成熟的顶级 Apache 项目。这一成就直接反应了社区为把 Beam 转变为开放、专业、社区驱动的项目所付出的努力。 11个月前，谷歌以及一些合作伙伴向 Apachee 软件基金会捐赠了大量代码，从而得以开始孵化 Beam 项目。这些代码的大部分来自谷歌的 Cloud Dataflow SDK，是开发者用来编写流处理（streaming）和批处理管道（batch pinelines）的库，可以在任何支持
Flink是Apache的一个顶级项目，Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。
本文介绍了如何使用 Apache Beam 实现 WordCount 程序，通过一个简单的 Maven 项目结构，展示了如何通过 Apache Beam 及其相关依赖和配置，使用 Spark、Flink 和 Apex 等大数据框架来运行并执行 WordCount 程序。
AI前线导读：本文是 **Apache Beam实战指南系列文章** 的第二篇内容，将重点介绍 Apache Beam与Flink的关系，对Beam框架中的KafkaIO和Flink源码进行剖析，并结合应用示例和代码解读带你进一步了解如何结合Beam玩转Kafka和Flink。系列文章第一篇回顾Apache Beam实战指南之基础入门
我们现在从讨论编程模型和 API 转向实现它们的系统。模型和 API 允许用户描述他们想要计算的内容。在规模上准确地运行计算需要一个系统——通常是一个分布式系统。
Apache Beam（原名Google DataFlow）是Google在2016年2月份贡献给Apache基金会的孵化项目，被认为是继MapReduce、GFS和BigQuery等之后，Google在大数据处理领域对开源社区的又一贡献。Apache Beam的主要目标是统一批处理和流处理的编程范式，为无限、乱序，Web-Scale的数据集处理提供简单灵活、功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现。本文主要介绍Apac
2016年是大数据风起云涌的一年。没人知道2017年将发生什么，但这不会阻止我们对新的一年作出各种预测。以下是最具有轰动效应的一些项目、事件和趋势，它们使2016年成为了大数据年。 商业智能（BI）领袖衰落 2016年2月，红极一时的BI和可视化工具提供商Tableau发布财报，业绩令人大失所望，其市值在一天之内被腰斩。这预示着2016年的BI市场将动荡不安。几个月后，风暴再起，Qlik Technologies的股价暴跌一半多，在2016年6月被Thoma Bravo以大约30亿美元的价格收购。 虽然
试验 Azure DevOps 随着 Azure DevOps 生态系统的不断发展，我们的团队正在更多的使用它，并取得了成功。这些服务包含一组托管服务，包括托管 Git 代码仓库、构建和部署流水线、自动化测试工具、待办工作管理工具和构件仓库。我们已经看到我们的团队在使用该平台时获得了良好的体验，这意味着 Azure DevOps正在走向成熟。我们特别喜欢它的灵活性；它甚至允许用户使用来自不同供应商的服务。例如，你可以在使用 Azure DevOps的流水线服务的同时也使用一个外部 Git 数据仓库。我们的团
大数据技术的发展是一个非常典型的技术工程的发展过程，荣辛通过对于谷歌经典论文的盘点，希望可以帮助工程师们看到技术的探索、选择过程，以及最终历史告诉我们什么是正确的选择。
Apache Beam 是什么？ Beam 是一个分布式数据处理框架，谷歌在今年初贡献出来的，是谷歌在大数据处理开源领域的又一个巨大贡献。 数据处理框架已经很多了，怎么又来一个，Beam有什么优势？ 就是因为分布式数据处理技术现在太多了，让人目眩，所以Beam要解决这个问题。 大数据处理领域发展得红红火火，新技术不断，有个笑话： 一个程序员抱怨这个框架的API不好用，同事安慰说：别急，再等几分钟就有新框架出来了，应该会更好。 Hadoop MapReduce、Spark、Storm、Flink、Apex …
技术雷达是ThoughtWorks每半年发布一期的技术趋势报告，它不仅是一份持续的技术成熟度评估，其产生还源于ThoughtWorks另一个更大宏大的使命—IT革命。我们一直深信，IT行业从定位、价值、实践和技术都会发生巨大的变革。然而任何宏观的变革，都会有一些微小的信号，我们需要持续关注这些微小的改变，这也就是技术雷达的由来。
【导读】本文利用TensorFlow构建了一个用于产品推荐的WALS协同过滤模型。作者从抓取数据开始对模型进行了详细的解读，并且分析了几种推荐中可能隐藏的情况及解决方案。 作者 | Lak Laksh
Dataflow模型（或者说Beam模型）旨在建立一套准确可靠的关于流处理的解决方案。在Dataflow模型提出以前，流处理常被认为是一种不可靠但低延迟的处理方式，需要配合类似于MapReduce的准确但高延迟的批处理框架才能得到一个可靠的结果，这就是著名的Lambda架构。这种架构给应用带来了很多的麻烦，例如引入多套组件导致系统的复杂性、可维护性提高。因此Lambda架构遭到很多开发者的炮轰，并试图设计一套统一批流的架构减少这种复杂性。Spark 1.X的Mirco-Batch模型就尝试从批处理的角度处理流数据，将不间断的流数据切分为一个个微小的批处理块，从而可以使用批处理的transform操作处理数据。还有Jay提出的Kappa架构，使用类似于Kafka的日志型消息存储作为中间件，从流处理的角度处理批处理。在工程师的不断努力和尝试下，Dataflow模型孕育而生。
TFMA 是一个用于评估 TensorFlow 模型的库，它可以让用户使用 Trainer 里定义的指标以分布式方式评估大量数据的模型。这些指标也可以在不同的数据片里计算，其结果可以在 Jupyter Notebooks 里可视化。
Chang Stream(变更记录流) 是指collection(数据库集合)的变更事件流，应用程序通过db.collection.watch()这样的命令可以获得被监听对象的实时变更。BigQuery是Google推出的一项Web服务，该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。
翻译自 LinkedIn Unifies Stream and Batch Processing with Apache Beam 。
本文讲述了我在苹果的macOS系统内核中发现的几个堆栈和缓冲区溢出漏洞，苹果官方将这几个漏洞归类为内核中的远程代码执行漏洞，因此这些漏洞的威胁级别非常高。攻击者可以通过这些漏洞远程入侵Mac，也可以在通过物理的方式访问计算机时，仅需要以访客身份登录（无需密码），就可以通过这些漏洞从而获取权限并控制计算机。
谷歌发布全新 TensorFlow 库“tf.Transform” 谷歌表示，tf.Transform 将改善 TensorFlow 的数据预处理和格式转化难题。 以下是谷歌对tf.Transform 的技术介绍： “今天我们正式发布 tf.Transform，一个基于 TensorFlow 的全新功能组件，它允许用户在大规模数据处理框架中定义预处理流水线（preprocessing pipelines），同时还可以将这些流水线导出，将其作为 TensorFlow 计算图（TensorFlow graph）
在上篇文章中，我们过了下基本的理论，也介绍了主流的流处理框架：Storm，Trident，Spark Streaming，Samza和Flink。今天咱们来点有深度的主题，比如，容错，状态管理或者性能。除此之外，我们也将讨论开发分布式流处理应用的指南，并给出推荐的流处理框架。
前不久，微信智言团队夺得第七届对话系统技术挑战赛（DSTC7）Track 2 赛道的冠军。
今天这篇继续讲流式计算。继上周阿里巴巴收购 Apache Flink 之后，Flink 的热度再度上升。毫无疑问，Apache Flink 和 Apache Spark 现在是实时流计算领域的两个最火热的话题了。那么为什么要介绍 Google Dataflow 呢？Streaming Systems 这本书在分析 Flink 的火热原因的时候总结了下面两点：
前面的那篇文章《再谈流计算的基本概念》提到了 Dataflow 模型，这个模型从更高的维度去看待看似隔离的批处理和流处理过程，把批处理过程认为是流处理过程的特例。基于这个模型，诞生了Spark Structure Streaming、Flink 和 Apache Beam 等一系列工具。
本教程涵盖了Apache NiFi的核心概念及其在其中流量管理，易用性，安全性，可扩展架构和灵活扩展模型非常重要的环境中所扮演的角色。
Flink 通过 org.apache.flink.core.fs.FileSystem 类有自己的文件系统抽象。 这种抽象提供了一组通用的操作和跨各种类型的文件系统实现的最小保证。
各位同学对于大数据编程语言知道多少呢？今天加米谷带着大家一起来看看常见的3种大数据编程语言，一起来看看他们的功能与特征。
对于不同人群可能有不同的答案，科研人员可能更偏爱PyTorch，因其简单易用，能够快速验证idea来抢占先机发论文。
分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。 DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到sinks。单机可以运行DAG，但本篇文章主要聚焦在多台机器上运行D
当我开始学习连接时，这是一个令人生畏的话题；LEFT、OUTER、SEMI、INNER、CROSS：连接的语言是富有表现力和广泛的。再加上流带来的时间维度，你会发现这似乎是一个具有挑战性的复杂话题。好消息是，连接实际上并不是一开始看起来那么可怕的野兽，它没有令人畏惧的尖牙。与许多其他复杂话题一样，一旦你理解了连接的核心思想和主题，建立在这些基础之上的更广泛的景观突然变得更加易于访问。所以请加入我，我们一起探索这个迷人的话题…连接。
如果大家看过速度与激情这部电影，一定对下面这一幕有深刻的印象：黑客通过远程控制上千辆的僵尸车辆，去自动拦截抢夺握有核发射密码的人! 然后掌控人类的命运。
这个乘积式中的因子都是小数，其乘积会是一个十分小的数，会造成 数值下溢(numerical underflow)
今天社群中的小伙伴面试遇到了一个问题，如何保证生成式语言模型在同样的输入情况下可以保证同样的输出。
作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀 最近，谷歌宣布 Bigtable 联邦查询普遍可用，用户通过 BigQuery 可以更快地查询 Bigtable 中的数据。此外，查询无需移动或复制所有谷歌云区域中的数据，增加了联邦查询并发性限制，从而缩小了运营数据和分析数据之间长期存在的差距。 BigQuery 是谷歌云的无服务器、多云数据仓库，通过将不同来源的数据汇集在一起来简化数据分析。Cloud Bigtable 是谷歌云的全托管 NoSQL 数据库，主要用
选自MachineLearningMastery 作者：Jason Brownlee 机器之心编译 参与：程耀彤、路雪 本文介绍了贪婪搜索解码算法和束搜索解码算法的定义及其 Python 实现。 自然语言处理任务如图像描述生成和机器翻译，涉及生成一系列的单词。通常，针对这些问题开发的模型的工作方式是生成在输出词汇表上的概率分布，并通过解码算法对概率分布进行采样以生成可能性最大的单词序列。在本教程中，你将学习可用于文本生成问题的贪婪搜索和束搜索解码算法。 完成本教程，你将了解： 文本生成问题中的解码问题； 贪
Hadoop：Apache Hadoop是一个开源的分布式系统基础框架，离线数据的分布式存储和计算的解决方案。Hadoop最早起源于Nutch，Nutch基于2003 年、2004年谷歌发表的两篇论文分布式文件系统GFS和分布式计算框架MapReduce的开源实现HDFS和MapReduce。2005年推出，2008年1月成为Apache顶级项目。Hadoop分布式文件系统(HDFS)是革命性的一大改进，它将服务器与普通硬盘驱动器结合，并将它们转变为能够由Java应用程序兼容并行IO的分布式存储系统。Hadoop作为数据分布式处理系统的典型代表，形了成完整的生态圈，已经成为事实上的大数据标准，开源大数据目前已经成为互联网企业的基础设施。Hadoop主要包含分布式存储HDFS、离线计算引擎MapRduce、资源调度Apache YARN三部分。Hadoop2.0引入了Apache YARN作为资源调度。Hadoop3.0以后的版本对MR做了大量优化，增加了基于内存计算模型，提高了计算效率。比较普及的稳定版本是2.x，目前最新版本为3.2.0。
在本系列的前一篇博客《将流转化为数据产品》中，我们谈到了减少数据生成/摄取之间的延迟以及从这些数据中产生分析结果和洞察力的日益增长的需求。我们讨论了如何使用带有 Apache Kafka 和 Apache Flink 的Cloudera 流处理(CSA) 来实时和大规模地处理这些数据。在这篇博客中，我们将展示一个真实的例子来说明如何做到这一点，看看我们如何使用 CSP 来执行实时欺诈检测。
我们知道 Apache 服务器默认是不支持目录浏览，这是安全考虑，如果你有个目录都只是静态文件，自己希望浏览，那么只要在当前目录的 .htaccess 添加 Options +Indexes 指令，就可以开启目录浏览：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
