参考资料：https://segment.com/blog/cultivating-your-data-lake/
在 Spark 中，RDD 被表示为对象，通过对象上的方法调用来对 RDD 进行转换。 经过一系列的transformations定义 RDD 之后，就可以调用 actions 触发 RDD 的计算 action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。 在Spark中，只有遇到action，才会执行 RDD 的计算(即延迟计算)，这样在运行时可以通过管道的方式传输多个转换。 要使用 Spark，开发者需要编写一个 Driver 程序，它被提交到集群以调度运行 Worker Driver 中定义了一个或多个 RDD，并调用 RDD 上的 action，Worker 则执行 RDD 分区计算任务。
Spark的核心概念是弹性分布式数据集（RDD），RDD 是一个可容错、并行操作的分布式元素集合。有两种方法可以创建 RDD 对象：
4.2 创建RDD 由于Spark一切都是基于RDD的，如何创建RDD就变得非常重要，除了可以直接从父RDD转换，还支持两种方式来创建RDD： 1）并行化一个程序中已经存在的集合（例如，数组）； 2）引用一个外部文件存储系统（HDFS、HBase、Tachyon或是任何一个支持Hadoop输入格式的数据源）中的数据集。 4.2.1 集合（数组）创建RDD 通过并行集合（数组）创建RDD，主要是调用SparkContext的parallelize方法，在Driver（驱动程序）中一个已经存在的集合（数组）上
本文演示了使用外部表集成 Vertica 和 Apache Hudi。在演示中我们使用 Spark 上的 Apache Hudi 将数据摄取到 S3 中，并使用 Vertica 外部表访问这些数据。
此版本保留与 0.14.0 版本相同的表版本 (6)，如果从 0.14.0 升级，则无需升级表版本。有一些模块和 API 更改以及行为更改，如下所述，用户在使用 0.15.0 版本之前应采取相应的操作。
这么写TMD 的有大问题。 尤其这个overwrite（），上面的代码会直接在程序运行时候重写当前文件系统目录，覆盖代码，数据恢复软件都找不回来。我很不清楚为何能有这么厉害的权限
DVC的建立是为了使ML模型具有可共享性和可复制性。它设计用于处理大型文件、数据集、机器学习模型、度量以及代码。
在之前的Scala系列中分享了有关数据类型、运算符操作、控制流语法、自定义函数、以及几种集合的使用。慢慢地Scala体系将越来越丰富，在本期内容中将跟各位网友分享Scala的字符串操作和正则表达式的巧用。
Spark、Flink、Beam Beam编写完适用于Spark、Flink使用
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。
AWS Glue是Amazon Web Services(AWS)云平台推出的一款无服务器(Serverless)的大数据分析服务。对于不了解该产品的读者来说，可以用一句话概括其实质：Glue是一个无服务器的全托管的Spark运行环境，只需提供Spark程序代码即可运行Spark作业，无需维护集群。
我们都渴望获得数据。不仅是更多的数据……还有新的数据类型，以便我们能够最好地了解我们的产品、客户和市场。我们正在寻找有关各种形状和大小（结构化和非结构化）的最新可用数据的实时洞察力。我们希望拥抱新一代的业务和技术专业人员，这些人员是对数据和能够改变数据与我们生活息息相关的新一代技术有真正热情。
Hadoop在大数据领域享有多年垄断权，随着该领域开始出现新生力量，其统治地位正在逐渐下滑。年初的调查中，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，Gartner的调查也揭示了Hado
整体分为四个大部分，分别为Spark基础篇，Scala基础篇，GeoTrellis基础篇和GeoTrellis进阶篇。
使用Spark构建索引非常简单，因为spark提供了更高级的抽象rdd分布式弹性数据集，相比以前的使用Hadoop的MapReduce来构建大规模索引，Spark具有更灵活的api操作，性能更高，语法
可让您轻松收集、处理和分析实时流数据，以便您及时获得见解并对新信息快速做出响应。Amazon Kinesis 提供多种核心功能，可以经济高效地处理任意规模的流数据，同时具有很高的灵活性，让您可以选择最符合应用程序需求的工具。借助 Amazon Kinesis，您可以获取视频、音频、应用程序日志和网站点击流等实时数据，也可以获取用于机器学习、分析和其他应用程序的 IoT 遥测数据。借助 Amazon Kinesis，您可以即刻对收到的数据进行处理和分析并做出响应，无需等到收集完全部数据后才开始进行处理。
作者：Kumar Chinnakali 译者：java达人 来源：http://dataottam.com/2016/01/10/self-learn-yourself-apache-spark-in-21-blogs-3/（点击文末阅读原文前往） 一、 Spark项目最初由加州大学伯克利分校AMP实验室的Matei在2009年发起，并在2010年根据BSD协议开源。2013年，该项目捐献给Apache软件基金会，转为Apache2.0 协议。2014年二月，Spark成为Apache重点项目。201
Spark开发了一个丰富的生态系统，包括le 官方和第三方工具。 我们来看看5个以不同方式加强了Spark的第三方项目。
Spark是Apache的一个顶级项目，Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark Streaming 类似于 Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming 有高吞吐量和容错能力强等特点。Spark Streaming 支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象，如：map、reduce、join、window 等进行运算。而结果也能保存在很多地方，如 HDFS，数据库等。另外 Spark Streaming 也能和 MLlib（机器学习）以及 Graphx 完美融合。
以上所有应用场景在模型持久性、保存和加载模型的能力方面都更为容易。随着Apache Spark 2.0即将发布，Spark的机器学习库MLlib将在DataFrame-based的API中对ML提供长期的近乎完整的支持。本博客给出了关于它的早期概述、代码示例以及MLlib的持久性API的一些细节。
spark Streaming的checkpoint是一个利器，帮助在driver端非代码逻辑错误导致的driver应用失败重启，比如网络，jvm等，当然也仅限于支持自动重启的集群管理器，比如yarn。由于checkpoint信息包含序列化的Scala / Java / Python对象，尝试使用新的修改类反序列化这些对象可能会导致错误。
Spark学习之基础相关组件（1）
Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。
作者：Kent_Yao 链接：https://www.jianshu.com/p/72ffaa10220
CDC(Change Data Capture)从广义上讲所有能够捕获变更数据的技术都可以称为CDC，但本篇文章中对CDC的定义限定为以非侵入的方式实时捕获数据库的变更数据。例如：通过解析MySQL数据库的Binlog日志捕获变更数据，而不是通过SQL Query源表捕获变更数据。Hudi 作为最热的数据湖技术框架之一, 用于构建具有增量数据处理管道的流式数据湖。其核心的能力包括对象存储上数据行级别的快速更新和删除，增量查询(Incremental queries,Time Travel)，小文件管理和查询优化(Clustering,Compactions,Built-in metadata)，ACID和并发写支持。Hudi不是一个Server，它本身不存储数据，也不是计算引擎，不提供计算能力。其数据存储在S3(也支持其它对象存储和HDFS)，Hudi来决定数据以什么格式存储在S3(Parquet,Avro,…), 什么方式组织数据能让实时摄入的同时支持更新，删除，ACID等特性。Hudi通过Spark，Flink计算引擎提供数据写入, 计算能力，同时也提供与OLAP引擎集成的能力，使OLAP引擎能够查询Hudi表。从使用上看Hudi就是一个JAR包，启动Spark, Flink作业的时候带上这个JAR包即可。Amazon EMR 上的Spark，Flink，Presto ，Trino原生集成Hudi, 且EMR的Runtime在Spark，Presto引擎上相比开源有2倍以上的性能提升。在多库多表的场景下(比如：百级别库表)，当我们需要将数据库(mysql,postgres,sqlserver,oracle,mongodb等)中的数据通过CDC的方式以分钟级别(1minute+)延迟写入Hudi，并以增量查询的方式构建数仓层次，对数据进行实时高效的查询分析时。我们要解决三个问题，第一，如何使用统一的代码完成百级别库表CDC数据并行写入Hudi，降低开发维护成本。第二，源端Schema变更如何同步到Hudi表。第三，使用Hudi增量查询构建数仓层次比如ODS->DWD->DWS(各层均是Hudi表)，DWS层的增量聚合如何实现。本篇文章推荐的方案是: 使用Flink CDC DataStream API(非SQL)先将CDC数据写入Kafka，而不是直接通过Flink SQL写入到Hudi表，主要原因如下，第一，在多库表且Schema不同的场景下，使用SQL的方式会在源端建立多个CDC同步线程，对源端造成压力，影响同步性能。第二，没有MSK做CDC数据上下游的解耦和数据缓冲层，下游的多端消费和数据回溯比较困难。CDC数据写入到MSK后，推荐使用Spark Structured Streaming DataFrame API或者Flink StatementSet 封装多库表的写入逻辑，但如果需要源端Schema变更自动同步到Hudi表，使用Spark Structured Streaming DataFrame API实现更为简单，使用Flink则需要基于HoodieFlinkStreamer做额外的开发。Hudi增量ETL在DWS层需要数据聚合的场景的下，可以通过Flink Streaming Read将Hudi作为一个无界流，通过Flink计算引擎完成数据实时聚合计算写入到Hudi表。
本文介绍了 Apache Spark 的 RDD 程序设计指南，从 RDD 的基本概念、创建与操作、缓存与存储、性能优化等方面进行了详细阐述，并提供了丰富的实例和代码以帮助读者更好地理解和掌握 RDD 的使用方法。
Qubole现在支持对存储在Cloud数据湖中的数据进行高效的Update和Delete。用户可以对开启了事务的Hive表进行insert，update和delete，并通过Apache Spark或Presto进行查询。使用Apache Spark或Presto操作Hive的事务表功能，我们已将其开源，我们对于更多引擎支持update和delete的工作也在进行中，这块同样也会开源。
问题导读 1.DStreams的含义是什么？ 2.DStreams提供哪两种类型的操作？ 3.Transformations操作分为哪两种类型？ 4.本文说了哪些输入源？ 5.什么是batch？ 本篇做了一些细节优化，防止初学者在看到的时候，造成误解.如有问题，欢迎交流 RDD与job之间的关系 Spark Streaming是构建在Spark上的实时流计算框架，扩展了Spark流式大数据处理能 力。Spark Streaming将数据流以时间片为单位分割形成RDD，使用RDD操作处理每一块数 据
输入 DStreams 表示从 source 中获取输入数据流的 DStreams。在入门示例中，lines 表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入DStream(除 file stream)都与一个 Receiver (接收器)相关联，接收器从 source 中获取数据，并将数据存入 Spark 内存中来进行处理。 输入 DStreams 表示从数据源获取的原始数据流。Spark Streaming 提供了两类内置的流源（streaming sources）：
在开始Spark学习之前，首先需要搭建Spark的开发环境，可以基于Eclipse或者Intellij等IDE，本文档主要讲述如何使用Intellij搭建Spark开发环境。
Spark 生态系统以Spark Core 为核心，能够读取传统文件（如文本文件）、HDFS、Amazon S3、Alluxio 和NoSQL 等数据源，利用Standalone、YARN 和Mesos 等资源调度管理，完成应用程序分析与处理。这些应用程序来自Spark 的不同组件，如Spark Shell 或Spark Submit 交互式批处理方式、Spark Streaming 的实时流处理应用、Spark SQL 的即席查询、采样近似查询引擎BlinkDB 的权衡查询、MLbase/MLlib 的机器学习、GraphX 的图处理和SparkR 的数学计算等，如下图所示，正是这个生态系统实现了“One Stack to Rule Them All”目标。
本文主要介绍了如何从零开始学习Spark，包括安装、部署、数据操作、函数编程、机器学习等方面的内容。作者以实际例子为引子，采用通俗易懂的语言，详细介绍了Spark的基本概念、操作、优化和调试方法，为初学者提供了一套系统的学习方案。
在Quora上,大数据从业者经常会提出以下重复的问题：什么是数据工程（Data Engineering）？ 如何成为一名数据科学家（Data Scientist）？ 什么是数据分析师（Data Analyst）？
作者 | Sanket Gupta 译者 | 王强 策划 | 刘燕 本文最初发布于 Medium 网站，经原作者授权由 InfoQ 中文站翻译并分享。 当你的数据集变得越来越大，迁移到 Spark 可以提高速度并节约时间。 多数数据科学工作流程都是从 Pandas 开始的。 Pandas 是一个很棒的库，你可以用它做各种变换，可以处理各种类型的数据，例如 CSV 或 JSON 等。我喜欢 Pandas — 我还为它做了一个名为“为什么 Pandas 是新时代的 Excel”的播客。 我仍然认为 Pandas
Apache Zeppelin是一款类似jupyter notebook的交互式代码编辑器。
我们需要一个效率非常快，且能够支持迭代计算和有效数据共享的模型，Spark 应运而生。RDD 是基于工作集的工作模式，更多的是面向工作流。 但是无论是 MR 还是 RDD 都应该具有类似位置感知、容错和负载均衡等特性。
[图片摘自[Spark 官网](http://spark.apache.org/)]
在上一篇 文章 中我们介绍了一些 Flink SQL 的基础内容，以及与 Spark SQL 对比，有兴趣的小伙伴可以点连接进去看看。这篇文章，我们来说说UDF(User-Defined Functions)——用户自定义函数。
公司使用s3的路径去关联hive的分区，现在接入spark on k8s引入了3.0以上的hadoop版本，高版本的hadoop版本开始支持s3a配置。
可以说Spark几乎是企业搭建大数据平台必备组件，作为数据分析工程师在工作中执行程序、调试程序、查询数据都会和Spark打交道，所以对Spark知识的考察也就顺理成章了。
本文介绍了如何使用 Spark 进行大数据处理，首先介绍了 Spark 的基本概念和架构，然后通过一个简单的例子展示了如何使用 Spark 进行数据处理。最后，本文还介绍了 Spark 的部署方式，包括本地部署和集群部署。
一、Spark 概述 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 Hadoop。 1.1 Spark 与 Hadoop Spark 基于 Hadoop MapReduce 算法实现的分布式计算，拥有 Hadoop MapReduc
在高层次上，每个 Spark 应用程序都包含一个驱动程序，该驱动程序运行用户的主要功能并在集群上执行各种并行操作。 Spark 提供的主要抽象是弹性分布式数据集 (RDD)，它是跨集群节点分区的元素集合，可以并行操作。 RDD 是通过从 Hadoop 文件系统（或任何其他 Hadoop 支持的文件系统）中的文件或驱动程序中现有的 Scala 集合开始并对其进行转换来创建的。 用户还可以要求 Spark 将 RDD 持久化到内存中，以便在并行操作中有效地重用它。 最后，RDD 会自动从节点故障中恢复。
Apache Spark是用Scala编程语言编写的。为了用Spark支持Python，Apache Spark社区发布了一个工具PySpark。使用PySpark，您也可以使用Python编程语言处理RDD。正是由于一个名为Py4j的库，他们才能实现这一目标。 这里不介绍PySpark的环境设置，主要介绍一些实例，以便快速上手。
大数据对一些数据科学团队来说是主要的挑战，因为在要求的可扩展性方面单机没有能力和容量来运行大规模数据处理。此外，即使专为大数据设计的系统，如 Hadoop，由于一些数据的属性问题也很难有效地处理图数据，我们将在本章的其他部分看到这方面的内容。
本文介绍了 Structured Streaming 是如何逐步从 Apache Spark 生态系统中发展起来的，以及其设计理念和实现方式。本文还介绍了 Structured Streaming 在实际应用中的优势，包括与批处理计算的关系、与 Apache Kafka 的集成、以及在高吞吐和低延迟场景下的性能表现。此外，本文还提供了若干实例，以展示 Structured Streaming 在各种应用场景中的实际效果。
将每批次数据状态，按照Key与以前状态，使用定义函数【updateFunc】进行更新，示意图如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
