scala快速入门系列【函数式编程】

本篇作为scala快速入门系列的第十六篇博客，为大家带来的是关于函数式编程的相关内容。

在这里插入图片描述

函数式编程

我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。

• 遍历（ foreach ）
• 映射（ map ）
• 映射扁平化（ flatmap ）
• 过滤（ filter ）
• 是否存在（ exists ）
• 排序（ sorted、sortBy、sortWith ）
• 分组（ groupBy）
• 聚合计算（ reduce）
• 折叠（ fold）

遍历|foreach

之前，学习过了使用for表达式来遍历集合。我们接下来将学习scala的函数式编程，使用 foreach 方法来进行遍历、迭代。它可以让代码更加简洁。

方法签名

在这里插入图片描述

说明

foreach执行过程

在这里插入图片描述

示例

有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素

参考代码

在这里插入图片描述

使用类型推断简化函数定义

上述案例函数定义有点啰嗦，我们有更简洁的写法。因为使用foreach去迭代列表，而列表中的每个元素类型是确定的。

• scala可以自动来推断出来集合中每个元素参数的类型
• 创建函数时，可以省略其参数列表的类型

示例

1. 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
2. 使用类型推断简化函数定义

参考代码

在这里插入图片描述

使用下划线来简化函数定义

当函数参数，只在函数体中出现一次，而且函数体没有嵌套调用时，可以使用下划线来简化函数定义。

示例

1. 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
2. 使用下划线简化函数定义

参考代码

在这里插入图片描述

• 如果方法参数是函数，如果出现了下划线，scala编译器会自动将代码封装到一个函数中
• 参数列表也是由scala编译器自动处理

映射|map

集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的掌握。

因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。

map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表。

在这里插入图片描述

用法

方法签名

在这里插入图片描述

方法解析

map方法解析

在这里插入图片描述

案例一

1. 创建一个列表，包含元素1,2,3,4
2. 对List中的每一个元素加1

参考代码

在这里插入图片描述

案例二

1. 创建一个列表，包含元素1,2,3,4
2. 使用下划线来定义函数，对List中的每一个元素加1

参考代码

在这里插入图片描述

扁平化映射 | flatMap

扁平化映射也是将来用得非常多的操作，也是必须要掌握的。

定义

可以把flatMap，理解为先map，然后再flatten

在这里插入图片描述

• map是将列表中的元素转换为一个List
• flatten 再将整个列表进行扁平化

方法签名

在这里插入图片描述

方法解析

案例

案例说明

1. 有一个包含了若干个文本行的列表：“hadoop hive spark flink flume”, “kudu hbase sqoop storm”
2. 获取到文本行中的每一个单词，并将每一个单词都放到列表中

思路分析

在这里插入图片描述

步骤

1. 使用map将文本行拆分成数组
2. 再对数组进行扁平化

参考代码

在这里插入图片描述

使用flatMap简化操作 参考代码

在这里插入图片描述

过滤 | filter

过滤符合一定条件的元素

在这里插入图片描述

定义

在这里插入图片描述

方法签名

在这里插入图片描述

方法解析

在这里插入图片描述

案例

1. 有一个数字列表，元素为：1,2,3,4,5,6,7,8,9
2. 请过滤出所有的偶数

参考代码

在这里插入图片描述

排序

在scala集合中，可以使用以下几种方式来进行排序。

• sorted默认排序
• sortBy指定字段排序
• sortWith自定义排序

默认排序 | sorted

示例

1. 定义一个列表，包含以下元素: 3, 1, 2, 9, 7
2. 对列表进行升序排序

参考代码

在这里插入图片描述

指定字段排序 | sortBy

根据传入的函数转换后，再进行排序。

方法声明

在这里插入图片描述

方法解析

在这里插入图片描述

示例

1. 有一个列表，分别包含几下文本行：“01 hadoop”, “02 flume”, “03 hive”, “04 spark”
2. 请按照单词字母进行排序

参考代码

在这里插入图片描述

自定义排序 | sortWith

自定义排序，根据一个函数来进行自定义排序。

方法声明

在这里插入图片描述

方法解析

示例

1. 有一个列表，包含以下元素：2,3,1,6,4,5
2. 使用sortWith对列表进行降序排序

参考代码

在这里插入图片描述

使用下划线简写上述案例

参考代码

在这里插入图片描述

分组 | groupBy

我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法。

定义

groupBy表示按照函数将列表分成不同的组。

方法签名

在这里插入图片描述

方法解析

groupBy执行过程分析

在这里插入图片描述

示例

1. 有一个列表，包含了学生的姓名和性别:

在这里插入图片描述

2.请按照性别进行分组，统计不同性别的学生人数

步骤

1. 定义一个元组列表来保存学生姓名和性别
2. 按照性别进行分组
3. 将分组后的Map转换为列表：List((“男” -> 2), (“女” -> 1))

参考代码

在这里插入图片描述

聚合操作

聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中。

聚合 | reduce

reduce表示将列表，传入一个函数进行聚合计算。

定义

方法声明

在这里插入图片描述

方法解析

reduce执行流程分析

在这里插入图片描述

[!NOTE]

• reduce和reduceLeft效果一致，表示从左到右计算
• reduceRight表示从右到左计算

案例

1. 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
2. 使用reduce计算所有元素的和

参考代码

在这里插入图片描述

折叠 | fold

fold与reduce很像，但是多了一个指定初始化值参数。

定义

方法签名

在这里插入图片描述

方法解析

[!NOTE]

• fold和foldLet效果一致，表示从左往右计算
• foldRight表示从右往左计算

案例

1. 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
2. 使用fold方法计算所有元素的和

参考代码

在这里插入图片描述

好了，到这里本次的分享就结束了。对scala感兴趣的朋友可以持续关注哟~