前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Spark MLlib 之 Vector向量深入浅出

Spark MLlib 之 Vector向量深入浅出

作者头像
用户1154259
发布2018-07-31 17:28:48
1.9K0
发布2018-07-31 17:28:48
举报

Spark MLlib里面提供了几种基本的数据类型,虽然大部分在调包的时候用不到,但是在自己写算法的时候,还是很需要了解的。MLlib支持单机版本的local vectors向量和martix矩阵,也支持集群版本的matrix矩阵。他们背后使用的都是ScalaNLP中的Breeze。

更多内容参考我的大数据学习之路

Local Vector

local vector是一种索引是0开始的整数、内容为double类型,存储在单机上的向量。MLlib支持两种矩阵,dense密集型和sparse稀疏型。一个dense类型的向量背后其实就是一个数组,而sparse向量背后则是两个并行数组——索引数组和值数组。比如向量(1.0, 0.0, 3.0)既可以用密集型向量表示为[1.0, 0.0, 3.0],也可以用稀疏型向量表示为(3, [0,2],[1.0,3.0]),其中3是数组的大小。

接口为Vector,看源码可以看到它是用sealed修饰的,在scala里面这种关键字修饰的trait在进行match的时候必须把所有的情况都列出来,不然会报错。相当于强制你考虑向量的时候,必须考虑它是dense型的,还是sparse型的。

代码语言:javascript
复制
sealed trait Vector extends Serializable {
  def size: Int // 向量的大小
  def toArray: Array[Double] //转换成普通的数组

  override def equals(other: Any): Boolean = { // 定义比较方法——感慨,原来这么优秀的框架背后也用穷举
    other match {
      case v2: Vector =>
        if (this.size != v2.size) return false
        (this, v2) match {
          case (s1: SparseVector, s2: SparseVector) =>
            Vectors.equals(s1.indices, s1.values, s2.indices, s2.values)
          case (s1: SparseVector, d1: DenseVector) =>
            Vectors.equals(s1.indices, s1.values, 0 until d1.size, d1.values)
          case (d1: DenseVector, s1: SparseVector) =>
            Vectors.equals(0 until d1.size, d1.values, s1.indices, s1.values)
          case (_, _) => util.Arrays.equals(this.toArray, v2.toArray)
        }
      case _ => false
    }
  }

  override def hashCode(): Int = { //好好领略hashcode的魅力
    var result: Int = 31 + size
    var nnz = 0
    this.foreachActive { (index, value) =>
      if (nnz < Vectors.MAX_HASH_NNZ) {
        if (value != 0) {
          result = 31 * result + index
          val bits = java.lang.Double.doubleToLongBits(value)
          result = 31 * result + (bits ^ (bits >>> 32)).toInt
          nnz += 1
        }
      } else {
        return result
      }
    }
    result
  }

  // 这里面的BV其实是breeze里面的vector,import breeze.linalg.{DenseVector => BDV, SparseVector => BSV, Vector => BV}
  // 也就是说,mllib里面的vector其实就是对breeze里面的vector封装了一层而已
  private[spark] def asBreeze: BV[Double]
  def apply(i: Int): Double = asBreeze(i)
  def copy: Vector = {
    throw new NotImplementedError(s"copy is not implemented for ${this.getClass}.")
  }
  def foreachActive(f: (Int, Double) => Unit): Unit
  def numActives: Int
  def numNonzeros: Int //零的个数
  def toSparse: SparseVector
  def toDense: DenseVector = new DenseVector(this.toArray) //创建Dense向量还真是简单啊

  def compressed: Vector = {
    val nnz = numNonzeros
    // A dense vector needs 8 * size + 8 bytes, while a sparse vector needs 12 * nnz + 20 bytes.
    if (1.5 * (nnz + 1.0) < size) {
      toSparse
    } else {
      toDense
    }
  }

  def argmax: Int //返回里面的最大值
}

Vector有两种实现方式——DenseVector,和SparseVector。

代码语言:javascript
复制
import org.apache.spark.ml.linalg.{Vector,Vectors}
import org.apache.spark.sql.SparkSession

object DataTypes {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").appName("tf-idf").getOrCreate()
    spark.sparkContext.setLogLevel("WARN")

    // 创建dense vector
    val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)
    // 创建sparse vector
    val sv1: Vector = Vectors.sparse(3, Array(0,2), Array(1.0,3.0))
    val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2,3.0)))
  }
}

其中sparse vector有两种创建方式,第一种是传入三个参数:向量大小、索引数组、索引数组对应的值数组;第二种方式是传入两个参数:向量大小、由索引和值组成的键值对数组。

另外这个Vectors不仅仅有创建dense和sparse的方法,还有几个有用的功能,比如norm范数和sqdist距离。

代码语言:javascript
复制
val norm1Vec = Vectors.dense(1.0,-1.0,2.0)
// 第一范数,就是绝对值相加
println(Vectors.norm(norm1Vec,1)) // 4.0
// 第二番薯,就是平方和开根号
println(Vectors.norm(norm1Vec,2)) // 2.449489742783178
// 无限范数
println(Vectors.norm(norm1Vec,1000)) //2.0

val sq1 = Vectors.dense(1.0, 2.0, 3.0)
val sq2 = Vectors.dense(2.0, 4.0, 6.0)
println(Vectors.sqdist(sq1, sq2)) // (2-1)^2 + (4-2)^2 + (6-3)^2 = 14

通过上面简单的一个Vector,还是能学到不少东西的。

比如sealed关键字的使用,以及工厂方法:

代码语言:javascript
复制
object xxxFactory{
    def x1: XXX
    def x2: XXX
    ...
}
trait XXX {}
object X1 extends XXX {}
object X2 extends XXX {}

Labeled Point 有标签的向量

这种labeled point其实内部也是一个vector,可能是dense也可能是sparse,不过多了一个标签列。在ML里面,labeled point通常用于有监督算法。这个label是double类型的,这样既可以用于回归算法,也可以用于分类。在二分类中,Label不是0就是1;在多分类中label可能从0开始,1,2,3,4....

使用的时候很简单,直接new就可以了:

代码语言:javascript
复制
// Create a labeled point with a positive label and a dense feature vector.
val pos = LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0))

// Create a labeled point with a negative label and a sparse feature vector.
val neg = LabeledPoint(0.0, Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0)))

一般在准备训练集数据的时候,数据都是稀疏型的。MMLib支持在SVM和Liner线性回归中直接读取训练数据,但是需要满足下面的格式:

代码语言:javascript
复制
label index1:value1 index2:value2 ...

比如:

代码语言:javascript
复制
val examples: RDD[LabeledPoint] = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-07-07 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Local Vector
  • Labeled Point 有标签的向量
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档