从Spark shuffle原理可知，Spark shuffle在计算与IO方面，都可能有较大开销，故，Spark shuffle调优就是优化这2个方面。 这里仅关注调参的调优方式，不关注应用代码层面的调优。
小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。
Apache Spark 是专为大数据处理而设计的快速的计算引擎，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是—spark的输出结果可以保存在内存中，不用再进行HDFS的读写，因此Spark被广泛用于机器学习跟需要迭代计算类的算法。但是面对大量需要处理的数据，要让Spark稳定快速的运行，这就需要对Spark进行全方位的调优，从而在工作中拥有更高的处理效率。本篇文章主要对Spark如何进行全方位的调优进行阐述
不论是Hive还是Spark SQL在使用过程中都可能会遇到小文件过多的问题。小文件过多最直接的表现是任务执行时间长，查看Spark log会发现大量的数据移动的日志。我们可以查看log中展现的日志信息，去对应的路径下查看文件的大小和个数。
—————————————————————————————————— 2018-5-11更新
Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apache flink。
Map在读取数据时，先将数据拆分成若干数据，并读取到Map方法中被处理。数据在输出的时候，被分成若干分区并写入内存缓存（buffer）中，内存缓存被数据填充到一定程度会溢出到磁盘并排序，当Map执行完后会将一个机器上输出的临时文件进行归并存入到HDFS中。
hive强大之处不要求数据转换成特定的格式，而是利用hadoop本身InputFormat API来从不同的数据源读取数据，同样地使用OutputFormat API将数据写成不同的格式。所以对于不同的数据源，或者写出不同的格式就需要不同的对应的InputFormat和OutputFormat类的实现。以stored as textFile为例，其在底层java API中表现是输入InputFormat格式：TextInputFormat以及输出OutputFormat格式：HiveIgnoreKeyTextOutputFormat。这里InputFormat中定义了如何对数据源文本进行读取划分，以及如何将切片分割成记录存入表中。而OutputFormat定义了如何将这些切片写回到文件里或者直接在控制台输出。
包含两个部分：应用管理者AppMaster和运行应用进程Process（如MapReduce程序MapTask和ReduceTask任务），如下图所示：
原文地址：https://dzone.com/articles/creating-an-iot-kafka-pipeline-in-under-five-minutes
下载最新版本的后端安装包至服务器部署目录，比如创建 /opt/dolphinscheduler 做为安装部署目录，下载地址：https://dlcdn.apache.org/dolphinscheduler/1.3.8/apache-dolphinscheduler-1.3.8-src.tar.gz，下载后上传 tar 包到该目录中
Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；
2. 「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成
分析用例几乎只使用查询表中列的子集，并且通常在广泛的行上聚合值。面向列的数据极大地加速了这种访问模式。操作用例更有可能访问一行中的大部分或所有列，并且可能更适合由面向行的存储提供服务。Kudu 选择了面向列的存储格式，因为它主要针对分析用例。
编写 shell 脚本，定期检测 master 状态，出现宕机后对 master 进行重启操作
大数据平台的资源管理组件主要涉及存储资源和计算资源管理两部分，属于大数据平台运维管理系统。基于资源管理系统，大数据平台的开发运维人员能够清晰掌控平台的资源使用情况和资源在不同时间段下的变化趋势，能对资源使用异常进行及时发现并定位处理，避免造成更严重的影响，如磁盘空间撑爆，计算资源无空余，任务长时间等待不运行等造成业务阻塞。
SparkSQL简介及入门 一、概述 Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame（数据框）的编程抽象，DF的底层仍然是RDD，并且可以充当分布式SQL查询引擎。 1、SparkSQL的由来 SparkSQL的前身是Shark。在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，是当时唯一运行在hadoop上的SQL-on-Hadoop工具。但是，MapReduc
相信经过前面几篇 Flink 文章的学习，大家对于Flink的代码书写一定非常期待。本篇博客，我们就来扒一扒关于Flink的DataSet API的开发。
你现在可以在Cloudera Enterprise 6.3中使用OpenJDK 11，在集群中安装OpenJDK 11时，默认使用G1GC为CDH大多数服务作为垃圾回收机制，这可能需要进行调优以避免内存过量使用。
复制一份spark-env.sh.template，改名为spark-env.sh。然后编辑spark-env.sh
问题导读 1.Spark Summit更名为什么名字？ 2.Spark集群在哪些名企应用？ 3.Spark Summit的相关视频和ppt在哪可以下载？ 自2013年首次举办峰会以来，Spark Summits已成为全球最大的专注于Apache Spark的大型数据活动，聚集全球最优秀的工程师，科学家，分析师和高管，分享他们的知识并接受有关此次开放式培训的专业培训。此外，还有数以千计的人学习了Spark，大数据，机器学习，数据工程和数据科学如何为全球的企业和机构提供新的见解。 现在Spark想进一步探索Spark和AI如何共同塑造认知计算领域，以及AI如何通过创新用例在业务中创造新的机会。Spark Summit已经更名为Spark + AI Summit，并将其重点转移到了AI的各个方面：从自驾车到语音和图像识别，以及从智能聊天机器人和新的深度学习框架和技术到高效的机器学习算法，模型和在视觉，言语，深度学习和规模分布式学习方法。 Apache Spark是一个强大的开源处理引擎，以速度，易用性和复杂的分析为基础。它于2009年在加利福尼亚大学伯克利分校启动，现在由独立于供应商的Apache软件基金会开发。自从发布以来，Spark已广泛应用于各行各业的企业迅速采用。雅虎，eBay和Netflix等互联网巨头已经大规模地部署了Spark，在超过8,000个节点的集群上处理了数PB的数据。 Apache Spark也成为最大的大数据开源社区，来自250多个组织的超过1000个贡献者。 Spark Summits每年举行，大家都喜欢下载相关视频和ppt。那么这些视频和ppt官网到底在哪里下载，下面详细介绍。 首先输入下面网址： https://databricks.com/sparkaisummit 我们看到下面图示：
Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame（数据框）的编程抽象，DF的底层仍然是RDD，并且可以充当分布式SQL查询引擎。
Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源，HDFS上的分析数据集通过两种类型的表提供服务：读优化表（Read Optimized Table）和近实时表（Near-Real-Time Table）。
大数据（Big Data），又称为巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理的时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
作者 | Uber Engineering 译者 | 王强 策划 | 钰莹 随着 Uber 业务的扩张，为公司业务提供支持的基础数据池也在飞速膨胀，其处理成本水涨船高。当大数据成为我们最大的运维支出项目之一后，我们启动了一项降低数据平台成本的计划。该计划将问题分解为三大分支：平台效率、供应和需求。在这篇文章中，我们将讨论 Uber 为提高数据平台效率和降低成本所做的一系列工作。 1大数据文件格式优化 我们的大部分 Apache®Hadoop®文件系统（HDFS）空间都被 Apache Hive 表占用了。
Apache CarbonData 是一种索引列式数据格式，专为快速分析和实时洞察至关重要的大数据场景而开发。这个强大的数据存储解决方案是 Apache 软件基金会内的顶级项目，提供了一种更结构化、更高效、更快速的方法来处理和分析大型数据集
如果你希望将数据快速提取到HDFS或云存储中，Hudi可以提供帮助。另外，如果你的ETL /hive/spark作业很慢或占用大量资源，那么Hudi可以通过提供一种增量式读取和写入数据的方法来提供帮助。
Hudi Cleaner（清理程序）通常在 commit和 deltacommit之后立即运行，删除不再需要的旧文件。如果在使用增量拉取功能，请确保配置了清理项来保留足够数量的commit(提交)，以便可以回退，另一个考虑因素是为长时间运行的作业提供足够的时间来完成运行。否则，Cleaner可能会删除该作业正在读取或可能被其读取的文件，并使该作业失败。通常，默认配置为10会允许每30分钟运行一次提取，以保留长达5（10 * 0.5）个小时的数据。如果以繁进行摄取，或者为查询提供更多运行时间，可增加 hoodie.cleaner.commits.retained配置项的值。
在「SparkContext.scala」 中创建，老版本参数中还有actorsystem
Spark是一个通用的大规模数据快速处理引擎。可以简单理解为Spark就是一个大数据分布式处理框架。基于内存计算的Spark的计算速度要比Hadoop的MapReduce快上100倍以上，基于磁盘的计算速度也快于10倍以上。Spark运行在Hadoop第二代的yarn集群管理之上，可以轻松读取Hadoop的任何数据。能够读取HBase、HDFS等Hadoop的数据源。
1）原理： 计算能力调度器支持多个队列，每个队列可配置一定的资源量，每个队列采用 FIFO 调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对 同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的 比值(即比较空闲的队列)，选择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择， 同时考虑用户资源量限制和内存限制 2）优点： （1）计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业 共享该队列中的资源； （2）灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们； （3）支持优先级。队列支持作业优先级调度（默认是FIFO）； （4）多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源； （5）基于资源的调度。支持资源密集型作业，允许作业使用的资源量高于默认值，进而可容纳不同资源需求的作业。不过，当前仅支持内存资源的调度。
在本文中，我们将详细介绍如何在Python / pyspark环境中使用graphx进行图计算。GraphX是Spark提供的图计算API，它提供了一套强大的工具，用于处理和分析大规模的图数据。通过结合Python / pyspark和graphx，您可以轻松地进行图分析和处理。
Spark Shuffle 1、概述 Shuffle，翻译成中文就是洗牌。之所以需要Shuffle，还是因为具有某种共同特征的一类数据需要最终汇聚（aggregate）到一个计算节点上进行计算
Parquet 是一种开源文件格式，用于处理扁平列式存储数据格式，可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件（如 CSV 或 TSV 文件）相比，Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。
Apache Spark在2016年的时候启动了Structured Streaming项目，一个基于Spark SQL的全新流计算引擎Structured Streaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序。
从文件中读取数据是创建 RDD 的一种方式. 把数据保存的文件中的操作是一种 Action. Spark 的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。 文件格式分为：Text文件、Json文件、csv文件、Sequence文件以及Object文件； 文件系统分为：本地文件系统、HDFS、Hbase 以及 数据库。 平时用的比较多的就是: 从 HDFS 读取和保存 Text 文件.
周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章： 【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令 【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性 #####我是
Bitsets（也称为Bitmaps）通常用作快速数据结构。不幸的是，他们可能会占用太多内存。为了降低内存的使用，我们经常会使用压缩的位图。
hive 中的小文件肯定是向 hive 表中导入数据时产生，所以先看下向 hive 中导入数据的几种方式
Spark是一个通用的大规模数据快速处理引擎。可以简单理解为Spark就是一个大数据分布式处理框架。基于内存计算的Spark的计算速度要比Hadoop的MapReduce快上50倍以上，基于磁盘的计算速度也快于10倍以上。Spark运行在Hadoop第二代的yarn集群管理之上，可以轻松读取Hadoop的任何数据。能够读取HBase、HDFS等Hadoop的数据源。
前置文章参考《0585-Cloudera Enterprise 6.2.0发布》和《0589-Cloudera Manager6.2的新功能》
Cloudera于7月31日宣布正式发布CDH6.3，此版本提供了许多新功能，改进了可用性，性能提升以及对更现代的Java和身份管理基础设施软件的支持(Free IPA)。
正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少，Spark 2.4 版本的 [Release Note](http://spark.apache.org/releases/spark-release-2-4-0.html) 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下，Structured Streaming 有将近十个 ticket 说明。所以各位同学，是时候舍弃 Spark Streaming 转向 Structured Streaming 了，当然理由并不止于此。我们这篇文章就来分析一下 Spark Streaming 的不足，以及Structured Streaming 的设计初衷和思想是怎么样的。文章主要参考今年（2018 年）sigmod 上面的这篇论文：Structured Streaming: A Declarative API for Real-Time
官方文档地址：http://spark.apache.org/docs/latest/running-on-yarn.html
1.Hdfs和Mapreduce核心 2.扩展存储Hbase，MDB 3.搭建平台的思路（平台堆栈） 4.分布式协调 zookeeper 5.分布式概念，系统，框架（1道题） 6.cap理论
目前我们的大数据系统里，主要承接的业务是部门内的一些业务日志数据的统计、分析等，比如网关日志数据，服务器监控数据，k8s容器的相关日志数据，app的打点日志等。主要的流任务是flink任务是消费kafka的数据，经过各种处理之后通过flink sql或者flink jar实时写入hive，由于业务对数据的实时性要求比较高，希望数据能尽快的展示出来，所以我们很多的flink任务的checkpoint设置为1分钟，而数据格式采用的是orc格式，所以不可避免的出现了一个在大数据处理领域非常常见但是很麻烦的问题，即hdfs小文件问题。
从2016年开始，美团到店餐饮技术团队就开始使用Apache Kylin作为OLAP引擎，但是随着业务的高速发展，在构建和查询层面都出现了效率问题。于是，技术团队从原理解读开始，然后对过程进行层层拆解，并制定了由点及面的实施路线。本文总结了一些经验和心得，希望能够帮助业界更多的技术团队提高数据的产出效率。
过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下，2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文将分享同程艺龙将 Flink 与 Iceberg 深度集成的落地经验和思考。
本文的目的是为读者提供全面了解Apache Hudi的知识。具体而言，读者可以了解到Apache Hudi是什么、它的架构如何工作、常见的使用案例以及与之配合工作的最佳实践。此外，读者还将获得有关如何设置和配置Apache Hudi，以及优化其性能的技巧的见解。通过阅读本文，读者应该对Apache Hudi有扎实的理解，并了解如何在其数据处理流程中利用它的优势。
最近看到有几个Github友关注了Streaming的监控工程——Teddy，所以思来想去还是优化下代码，不能让别人看笑话啊。于是就想改一下之前觉得最丑陋的一个地方——任务提交。 本博客内容基于Spark2.2版本~在阅读文章并想实际操作前，请确保你有： 一台配置好Spark和yarn的服务器 支持正常spark-submit --master yarn xxxx的任务提交 老版本 老版本任务提交是基于 ** 启动本地进程，执行脚本spark-submit xxx ** 的方式做的。其中一个关键的问题就是
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
