学习
实践
活动
工具
TVP
写文章

#spark

Apache Spark是一个开源集群运算框架,Spark使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。

一天学完spark的Scala基础语法教程十三、文件IO操作(idea版本)

红目香薰

Scala 进行文件写操作,直接用的都是 java中 的 I/O 类 (java.io.File):

910

一天学完spark的Scala基础语法教程十二、异常处理(idea版本)

红目香薰

Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行,不必通过返回值。

810

大数据学习的五大步骤

红目香薰

学习内容:Java 语言入门 → OOP 编程 → Java 常用Api、集合 → IO/NIO → Java 实用技术 → Mysql 数据库 → 阶段项目实...

610

一天学完spark的Scala基础语法教程十、类和对象(idea版本)

红目香薰

类是对象的抽象,而对象是类的具体实例。类是抽象的,不占用内存,而对象是具体的,占用存储空间。类是用于创建对象的蓝图,它是一个定义包括在特定类型的对象中的方法和变...

1620

一天学完spark的Scala基础语法教程八、集合(idea版本)

红目香薰

可变集合可以在适当的地方被更新或扩展。这意味着你可以修改,添加,移除一个集合的元素。

2120

一天学完spark的Scala基础语法教程七、数组(idea版本)

红目香薰

Scala 语言中提供的数组是用来存储固定大小的同类型元素,数组对于每一门编辑应语言来说都是重要的数据结构之一。

920

一天学完spark的Scala基础语法教程五、闭包(idea版本)

红目香薰

在 multiplier 中有两个变量:i 和 factor。其中的一个 i 是函数的形式参数,在 multiplier 函数被调用时,i 被赋予一个新的值。然...

1510

一天学完spark的Scala基础语法教程四、方法与函数(idea版本)

红目香薰

410

一天学完spark的Scala基础语法教程教程三、循环结构(idea版本)

红目香薰

有的时候,我们可能需要多次执行同一块代码。一般情况下,语句是按顺序执行的:函数中的第一个语句先执行,接着是第二个语句,依此类推。

1120

spark环境搭建(idea版本)

红目香薰

【鼠标右键】点击【Run】执行即可,第一次执行需要的时间比较长,请耐心等待,可能【1分钟】后才能出来结果哦。

2230

SeaTunnel 连接器V1到V2的架构演进与探究

tyrantlucifer

深演智能 · 大数据开发工程师 (已认证)

整个SeaTunnel设计的核心是利用设计模式中的控制翻转或者叫依赖注入,主要概括为以下两点:

810

工作常用之Spark调优【二】资源调优

ChinaManor

先设定单个 Executor 核数,根据 Yarn 配置得出每个节点最多的 Executor 数量,每个节

2720

工作常用之Spark调优【一】

ChinaManor

Spark 3.0 大版本发布, Spark SQL 的优化占比将近 50% 。 Spark SQL 取代 Spark Core ,成

1920

Pyspark学习笔记(四)弹性分布式数据集 RDD 综述(上)

TeeyoHuang

RDD(弹性分布式数据集) 是 PySpark 的基本构建块,是spark编程中最基本的数据对象;     它是spark应用中的数据集,包括最初加载的数据...

4930

Pyspark学习笔记(二)--- spark部署及spark-submit命令简介

TeeyoHuang

Pyspark学习笔记(二)--- spark部署及spark-submit命令简介

2710

马斯克称Twitter可能破产;Meta暴裁1.1 万人,小扎承认犯了错;GitHub年度报告:印度开发者增速超中国 | Q资讯

深度学习与Python

马斯克称 Twitter 有可能破产;扎克伯格宣布 Meta 裁员,裁员人数超过 Twitter;小冰公司融资 10 亿元人民币,投后估值 20 亿美元;周鸿...

3810

和Rust一样好,编程更安全?三年实践、员工态度反转,英伟达用 SPARK 换掉 C

深度学习与Python

近日,知名编程语言 Ada 与 SPARK 所属公司 AdaCore 表示,英伟达的产品运行着许多经过正式验证的 SPARK 代码。对于安全较为敏感的应用程序或...

4320

Python如何进行大数据分析?

快学Python

大家应该都用Python进行过数据分析吧,Pandas简直就是数据处理的第一利器。但是不知道大家有没有试过百万级以上的数据,这时候再用Pandas处理就是相当的...

4340

Hive 到底有什么用?

JavaEdge

华为 · 软件开发工程师 (已认证)

MapReduce简化大数据编程难度,但对经常需大数据计算的人,如从事研究BI的数据分析师,他们通常使用SQL进行大数据分析和统计,MapReduce编程还是有...

7240

Spark环境搭建、运行模式、RDD简单操作

北山啦

spark: http://spark.apache.org/downloads.html scala: https://www.scala-lang.org...

6240

扫码关注腾讯云开发者

领取腾讯云代金券