Spark MLlib中的OneHot哑变量实践
Spark MLlib中的OneHot哑变量实践
在机器学习中，线性回归和逻辑回归算是最基础入门的算法，很多书籍都把他们作为第一个入门算法进行介绍。除了本身的公式之外，逻辑回归和线性回归还有一些必须要了解的内容。一个很常用的知识点就是虚拟变量（也叫做哑变量）—— 用于表示一些无法直接应用到线性公式中的变量（特征）。
举个例子：
通过身高来预测体重，可以简单的通过一个线性公式来表示，y=ax+b。其中x为身高，y为体重。
现在想要多加一些特征（参数），比如性别。
那么问题来了：如何在一个公式中表示性别呢？
这就是哑变量的作用，它可以通过扩展特征值的个数来表示一些无法被直接数值化的参数。
实例演示
下面是一组数据，第一列表示体重，第二列表示身高，第三列表示性别
体重 | 身高 | 性别 |
|---|---|---|
60 | 170 | F |
45 | 163 | M |
80 | 183 | F |
70 | 175 | F |
52 | 167 | M |
现在首先需要把第三列转换成数值类型
体重 | 身高 | 性别 |
|---|---|---|
60 | 170 | 1.0 |
45 | 163 | 0.0 |
80 | 183 | 1.0 |
70 | 175 | 1.0 |
52 | 167 | 0.0 |
然后使用多维的数据表示这个参数
体重 | 身高 | 性别男 | 性别女 |
|---|---|---|---|
60 | 170 | 1.0 | 0.0 |
45 | 163 | 0.0 | 1.0 |
80 | 183 | 1.0 | 0.0 |
70 | 175 | 1.0 | 0.0 |
52 | 167 | 0.0 | 1.0 |
即，性别这一列会通过两列来标识。
一般来说，有多少种情况出现，就会出现多少列。当然会有很多不同的表现形式，比如有的是通过N-1列表示（为空时表示一种情况），有的是通过n列表示。
代码实践
在Spark MLlib中已经提供了处理哑变量的方法，叫做OneHotEncoder，翻译过来叫做 一位有效编码，即把可能出现多个值的某列转变成多列，同时只有一列有效。MLlib提供了两个方法一个是StringIndex方法，这个方法可以把不同的字符串转换成数值，比如F``M分别用0.0``1.0表示。还有一个是OneHotEncoder方法，这个方法可以把不同的数值转变成稀疏向量。
什么是稀疏向量
在MLlib中，向量有两种表示方法，一种是密集向量，一种是稀疏向量。
- 密集向量很好理解，[1,2,3,4]，代表这个向量有四个元素，分别是1 2 3 4
- 稀疏向量则可以根据下表表示,(3,[4,5,6],[1,2,3])，第一个值代表大小，第二个代表下标数组，第二个是下标对应的值。
然后话说回来，OneHotEncoder方法可以把不同的数值变成稀疏向量，这样一列就相当于可以用多列来表示。
下面我们具体的看一下代码吧！
object encoderTest {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("MovieLensALS-Test").setMaster("local[2]")
val sc = new SparkContext(conf)
sc.setLogLevel("WARN")
val sqlContext = new SQLContext(sc)
val df = sqlContext.createDataFrame(Seq(
(60, 170,"F","长春"),
(45, 163,"M","长春"),
(80, 183,"F","沈阳"),
(70, 175,"F","大连"),
(52, 167,"M","哈尔滨")
)).toDF("weight", "height","sex","address")
//把性别这一列数值化
val indexer = new StringIndexer()
.setInputCol("sex")
.setOutputCol("sexIndex")
.fit(df)
val indexed = indexer.transform(df)
//对性别这列进行 有效位编码
val encoder = new OneHotEncoder()
.setInputCol("sexIndex")
.setOutputCol("sexVec")
val encoded = encoder.transform(indexed)
//对地址这一列数值化
val indexer1 = new StringIndexer()
.setInputCol("address")
.setOutputCol("addressIndex")
.fit(encoded)
val indexed1 = indexer1.transform(encoded)
//对地址进行有效位编码
val encoder1 = new OneHotEncoder()
.setInputCol("addressIndex")
.setOutputCol("addressVec")
val encoded1 = encoder1.transform(indexed1)
encoded1.show()
}
}输出的内容为：
+------+------+---+-------+--------+-------------+------------+-------------+
|weight|height|sex|address|sexIndex| sexVec|addressIndex| addressVec|
+------+------+---+-------+--------+-------------+------------+-------------+
| 60| 170| F| 长春| 0.0|(1,[0],[1.0])| 0.0|(3,[0],[1.0])|
| 45| 163| M| 长春| 1.0| (1,[],[])| 0.0|(3,[0],[1.0])|
| 80| 183| F| 沈阳| 0.0|(1,[0],[1.0])| 3.0| (3,[],[])|
| 70| 175| F| 大连| 0.0|(1,[0],[1.0])| 2.0|(3,[2],[1.0])|
| 52| 167| M| 哈尔滨| 1.0| (1,[],[])| 1.0|(3,[1],[1.0])|
+------+------+---+-------+--------+-------------+------------+-------------+这样有什么用呢？
得到了weight``height``sexVec``addressVec，就相当于得到了一组数据，基于这组数据，就可以来训练线性回归，得到模型后，就可以根据一个人的身高、性别、地址来预测这个人的身高了。
参考
1 MLlib OneHotEncoder官方文档：http://spark.apache.org/docs/1.6.0/ml-features.html#onehotencoder 2 虚拟变量定义：http://wiki.mbalib.com/wiki/%E8%99%9A%E6%8B%9F%E5%8F%98%E9%87%8F
腾讯云开发者
