专栏首页SpringCloud专栏3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1

3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1

机器学习里矩阵是必不可少的,无论Python、Java能做机器学习的语言,都会提供比较优质的矩阵库。

spark mllib中提供的矩阵库是Breeze,可以简单看看Breeze库的情况。

ScalaNLP是一套机器学习和数值计算的库,主要是关于科学计算、机器学习和自然语言处理(NLP)的,里面包含三个库,Breeze、Epic和Puck。

其中Breeze是机器学习和数值计算库,Epic是一种高性能统计分析器和结构化预测库,Puck是一个快速GPU加速解析器。

本篇就是来看看Breeze的用法。

1 Breeze创建矩阵、向量

创建向量:

        //创建全0的向量
        val v1 = DenseVector.zeros[Double](5)
        println(v1)
        //创建全1的向量
        val v2 = DenseVector.ones[Double](5)
        println(v2)
        //用某个值填充整个向量
        val v3 = DenseVector.fill(3){5}
        println(v3)
        //创建某个范围内的向量,参数分别是start、end、step(可不填)
        val v4 = DenseVector.range(1, 10, 2)
        println(v4)
        //按照行创建向量
        val v5 = DenseVector(1, 2, 3, 4)
        println(v5)
        //向量转置,就是把行向量转为列向量
        val v6 = DenseVector(1, 2, 3, 4).t
        println(v6)
        //从数组创建向量
        val v7 = DenseVector(Array(1, 2, 3, 4))
        println(v7)
        //0到1的随机向量,参数是数量
        val v8 = DenseVector.rand(4)
        println(v8)
        //从函数创建向量
        val v9 = DenseVector.tabulate(3){i => 2 * i}
        println(v9)

根据注释,基本可以猜到结果是什么。下面看结果:

DenseVector(0.0, 0.0, 0.0, 0.0, 0.0)
DenseVector(1.0, 1.0, 1.0, 1.0, 1.0)
DenseVector(5, 5, 5)
DenseVector(1, 3, 5, 7, 9)
DenseVector(1, 2, 3, 4)
Transpose(DenseVector(1, 2, 3, 4))
DenseVector(1, 2, 3, 4)
DenseVector(0.712553382031057, 0.7818284949827337, 0.55561285848614, 0.9092804939652446)
DenseVector(0, 2, 4)

 创建矩阵:

        //创建全0的矩阵,2行3列
        val m1 = DenseMatrix.zeros[Double](2, 3)
        println(m1)
        //单位矩阵,对角线为1,其他全为0
        val m2 = DenseMatrix.eye[Double](3)
        println(m2)
        //对角矩阵,用给定的值作为对角线,其他全为0
        val m3 = diag(DenseVector(1, 2, 3))
        println(m3)
        //按照行创建矩阵
        val m4 = DenseMatrix((1, 2, 3), (4, 5, 6))
        println(m4)
        //从数组创建矩阵
        val m5 = new DenseMatrix(2, 3, Array(1, 2, 3, 4, 5, 6))
        println(m5)
        //0到1的随机矩阵
        val m6 = DenseMatrix.rand(2, 3)
        println(m6)
        //从函数创建矩阵
        val m7 = DenseMatrix.tabulate(2, 3) {case(i, j) => i + j}
        println(m7)

结果是:

2 Breeze访问矩阵元素

前面是各种方式创建矩阵和向量的代码,这里来看看如何访问元素。

        val v = DenseVector(Array(1, 2, 3, 4, 5, 6))
        //-1是末位,其他的v(0)
        println(v(-1))
        //指定坐标范围
        println(v(0 to 4))
        //按照指定步长取子集
        println(v(4 to 0 by -1))
        println(v(1 to -1))

        val m = DenseMatrix((1, 2, 3),(4, 5, 6))
        //指定矩阵的位置
        println(m(0, 1))
        //指定列
        println(m(::, 1))

结果是:

6
DenseVector(1, 2, 3, 4, 5)
DenseVector(5, 4, 3, 2, 1)
DenseVector(2, 3, 4, 5, 6)
2
DenseVector(2, 5)

3 Breeze元素操作

元素的操作有很多种,譬如赋值、矩阵转换、调整形状、连接矩阵等。

操作名称

Breeze函数

调整矩阵形状

a.reshape(3,2)

矩阵转成向量

a.toDenseVector

矩阵复制

a.copy

取对象线元素

diag(a)

给子集赋数值

a(1 to 4) := 5.0

给子集赋向量

a(1 to 4) :=DenseVector(1,2,3)

矩阵赋值

a(1 to 3,1 to 3) := 5.0

矩阵列赋值

a(::,2) := 5.0

垂直连接矩阵

DenseMatrix.vertcat(a.b)

横向连接矩阵

DenseMatrix.horzcat(d,e)

向量连接

DenseVector.vertcat(a,b)

我们来看看各个功能:

定义一个初始的矩阵,4行3列

val m = DenseMatrix((1, 2, 3), (4, 5, 6), (7, 8, 9), (10, 11, 12))
1   2   3   
4   5   6   
7   8   9   
10  11  12 

1.

         //转成vector向量
        val denseVector = m.toDenseVector
        println(denseVector)

结果是:

DenseVector(1, 4, 7, 10, 2, 5, 8, 11, 3, 6, 9, 12)

注意一下这个结果,将矩阵转为向量时,是按照列的顺序依次获取所有元素组成一个向量的。

2.

        //形状变成3行4列
        val reshape = m.reshape(3, 4)

结果是:

1  10  8   6   
4  2   11  9   
7  5   3   12 

可以看到,矩阵变形时也是按照列从上到下从左到右依次填满矩阵的。

3.

 然后看一下diag,取对角线元素。

val m1 = DenseMatrix((1, 2, 3), (4, 5, 6), (7, 8, 9))
        //取对角线元素
        val diagM1 = diag(m1)
        println(diagM1)

结果如下图,需要注意的是,diag只支持行列数一样的矩阵,譬如3行3列。而3行4列的就无法使用该函数了。

DenseVector(1, 5, 9)

4.

修改某一列的值

//将第二列的值变成5
        m1(::, 2) := 5
        println(m1)

结果:

1  2  5  
4  5  5  
7  8  5 

5.

给某个行列区间赋值

//矩阵赋值,从第二行到第三行,第二列到第三列赋值为5
        m1(1 to 2, 1 to 2) := 5
        println(m1)

结果: 

1  2  3  
4  5  5  
7  5  5  

6.

垂直连接矩阵

//垂直连接矩阵
        val a1 = DenseMatrix((1, 2, 3), (4, 5, 6))
        val a2 = DenseMatrix((7, 8, 9))
        val a1a2 = DenseMatrix.vertcat(a1, a2)
        println(a1a2)

结果: 

1  2  3  
4  5  6  
7  8  9 

可以看到两个矩阵垂直连接时,只有列数相同就可以,行数不必相同。同理,横向连接时 

7.

横向连接矩阵

//横向连接矩阵
        val b1 = DenseMatrix((1, 2, 3), (4, 5, 6))
        val b2 = DenseMatrix((7, 8, 9), (10, 11, 12))
        val b1b2 = DenseMatrix.horzcat(b1, b2)
        println(b1b2)

结果是:

1  2  3  7   8   9   
4  5  6  10  11  12  

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-2

    此外还有很多,如布尔函数、线性代数函数、取整、四舍五入等等。就不多介绍,这些不太常用的可以在需要时去查api即可。

    天涯泪小武
  • kafka使用时的一些总结

    1.在kafka最新版kafka_2.12-1.0.0的config文件夹server.properties中可以看到num.partitions=1,这个代表...

    天涯泪小武
  • SpringBoot全局异常处理

    全局异常处理是个比较重要的功能,一般在项目里都会用到。 我大概把一次请求分成三个阶段,来分别进行全局的异常处理。 一:在进入Controller之前,譬...

    天涯泪小武
  • Java中的小知识——lambda表达式

    但是我们发现,这样虽然在步骤上简单了许多,但是在空间上看着并不简单,甚至显得比较复杂。

    用户7073689
  • Flutter实战 | 从 0 搭建「网易云音乐」APP(一、创建项目、添加插件、通用代码)

    本系列可能会伴随大家很长时间,这里我会从0开始搭建一个「网易云音乐」的APP出来。

    Flutter笔记
  • java并发包(1)-AtomicReference和AtomicStampedReference

    AtomicReference原子应用类,可以保证你在修改对象引用时的线程安全性,比较时可以按照偏移量进行

    yiduwangkai
  • Java8 通关攻略

    Java8 特别强大的是Lambda 表达式和Stream,通过它两新增和增强了很多包

    乔戈里
  • ​Python爬虫--- 1.5 爬虫实践: 获取百度贴吧内容

    原文链接:https://www.fkomm.cn/article/2018/7/22/21.html

    圆方圆PYTHON学院
  • 爬虫实践: 获取百度贴吧内容

    本次要爬的贴吧是<< 西部世界 >>,西部世界是我一直很喜欢的一部美剧,平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。

    sergiojune
  • 我们为什么要使用AOP?

    最原始的写法,我要在调用insert()与update()方法前后分别打印时间,就只能定义一个新的类包一层,在调用insert()方法与update()方法前后...

    技术从心

扫码关注云+社区

领取腾讯云代金券