腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

星汉技术

专栏作者

119

文章

194952

阅读量

45

订阅数

CDH的坑之Deploy Client Configuration Failed

jdk 专用宿主机 spark java

网上查了以下，各种的都没有解决，只说是jdk的问题，但是具体问题在哪里，不知道。因为之前本人安装的CDH，也安装了spark，还是成功安装了，在公司的集群中却出现了上面的问题。都说是jdk的问题那么就检查一下jdk。

2019-03-12

1.6K0

原 Spark简介及完全分布式安装

Spark简介及完全分布式安装一、Spark介绍官方介绍： Apache Spark™ is a fast and general engine for large-scale data processing. Spark Introduce Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. Apache Spark has an advanced

2018-05-17

6510

原 Spark On Yarn完全分布式搭

spark yarn 分布式 zookeeper

Spark On Yarn完全分布式搭建 Spark On Yarn的搭建分为三个阶段，第一个是Zookeeper集群的搭建，第二是Hadoop集群的搭建，第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式搭建。一、准备 1、软件及版本 1. jdk-8u65-linux-x64.tar.gz 2. scala-2.11.0.tgz 3. zookeeper-3.4.7.tar.gz 4. hadoop-2.7.

2018-05-17

1.6K0

原荐 Spark框架核心概念

Spark框架核心概念首先介绍Spark中的核心名词概念，然后再逐一详细说明。 RDD：弹性分布式数据集，是Spark最核心的数据结构。有分区机制，所以可以分布式进行处理。有容错机制，通过RDD之间的依赖关系来恢复数据。依赖关系：RDD的依赖关系是通过各种Transformation（变换）来得到的。父RDD和子RDD之间的依赖关系分两种：①窄依赖②宽依赖。 ①窄依赖：父RDD的分区和子RDD的分区关系是：一对一。窄依赖不会发生Shuffle，执行效率高，spark框架底层

2018-05-17

1.3K0

原 Spark的架构

Spark的架构 1、概述为了更好地理解调度，先来鸟瞰一下集群模式下的Spark程序运行架构图。 2、角色 1．cluster manager cluster manager：集群管

2018-05-17

6730

原 Spark Shuffle

spark 数据库

Spark Shuffle 1、概述 Shuffle，翻译成中文就是洗牌。之所以需要Shuffle，还是因为具有某种共同特征的一类数据需要最终汇聚（aggregate）到一个计算节点上进行计算

2018-05-17

1.5K0

原荐 SparkSQL简介及入门

spark sql 数据处理

SparkSQL简介及入门一、概述 Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame（数据框）的编程抽象，DF的底层仍然是RDD，并且可以充当分布式SQL查询引擎。 1、SparkSQL的由来 SparkSQL的前身是Shark。在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，是当时唯一运行在hadoop上的SQL-on-Hadoop工具。但是，MapReduc

2018-05-17

2.4K0

原 SparkSQL语法及API

SparkSQL语法及API 一、SparkSql基础语法 1、通过方法来使用 1．查询 df.select("id","name").show(); 1>带条件的查询 df.select($"id",$"name").where($"name" === "bbb").show() 2>排序查询 orderBy/sort($"列名") 升序排列 orderBy/sort($"列名".desc) 降序排列 orderBy/sort($"列1" , $"列2".desc) 按两列排序

2018-05-17

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态