OneHotEncoder介绍单属性多属性scala实现

       因为项目的需要,将数据库中表的属性向量化,然后进行机器学习,所以去spark官网学习了一下OneHotEncoder,官网的相关介绍比较少,主要是针对单属性的处理,但是项目的要求是多属性的处理,网上找了很多的资料,研究了大半天终于将它集成到了自己的项目之中,下面分享一下自己的学习心得,说的不好的地方,还请各位大神多多指教。

      介绍:将类别映射为二进制向量,其中至多一个值为1(其余为零),这种编码可供期望连续特征的算法使用,比如逻辑回归,这些分类的算法。

     好处:1.解决分类器不好处理属性数据的问题(分类器往往默认数据是连续的,并且是有序的)

                2.在一定程度上也起到了扩充特征的作用

     原理:1.String字符串转换成索引IndexDouble

                2.索引转化成SparseVector

      总结:OneHotEncoder=String->IndexDouble->SparseVector

单属性的官网实现:

package com.iflytek.features import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer} import org.apache.spark.ml.feature.{IndexToString, StringIndexer} import org.apache.spark.sql.SparkSession import org.apache.spark.ml.linalg.SparseVector

object OneHotEncoder {   val spark=SparkSession.builder().appName("pca").master("local").getOrCreate()   def main(args: Array[String]): Unit = {   val df = spark.createDataFrame(Seq(   (0, "a"),   (1, "b"),   (2, "c"),   (3, "a"),   (4, "a"),   (5, "c")   )).toDF("id", "category")

  //可以把一个属性列里的值映射成数值类型   val indexer = new StringIndexer()     .setInputCol("category")     .setOutputCol("categoryIndex")     .fit(df)   val indexed = indexer.transform(df)

  indexed.select("category", "categoryIndex").show()

  val encoder = new OneHotEncoder()     .setInputCol("categoryIndex")     .setOutputCol("categoryVec")   val encoded = encoder.transform(indexed)   encoded.select("id","categoryIndex", "categoryVec").show()   encoded.select("categoryVec").foreach {     x => println(x.getAs[SparseVector]("categoryVec").toArray.foreach {       x => print(x+" ")       }     )     }     } }

输出结果如下:

+--------+-------------+ |category|categoryIndex| +--------+-------------+ |       a|          0.0| |       b|          2.0| |       c|          1.0| |       a|          0.0| |       a|          0.0| |       c|          1.0| +--------+-------------+

+---+-------------+-------------+ | id|categoryIndex|  categoryVec| +---+-------------+-------------+ |  0|          0.0|(2,[0],[1.0])| |  1|          2.0|    (2,[],[])| |  2|          1.0|(2,[1],[1.0])| |  3|          0.0|(2,[0],[1.0])| |  4|          0.0|(2,[0],[1.0])| |  5|          1.0|(2,[1],[1.0])| +---+-------------+-------------+

1.0 0.0 () 0.0 0.0 () 0.0 1.0 () 1.0 0.0 () 1.0 0.0 () 0.0 1.0 ()

多属性的找了很多资料,业务需求一般都是多属性的:

import  sc.implicits._     val vectorData = dataRDD       //将 枚举的值 转化为 Double      .map( x => (  enum2Double("是否已流失",x._1),   x._2(0) , x._2(1) ,x._2(2),x._2(3) ) )        //ml.feature.LabeledPoint      .toDF("loss","gender","age","grade","region")

     //indexing columns     val stringColumns = Array("gender","age","grade","region")     val index_transformers: Array[org.apache.spark.ml.PipelineStage] = stringColumns.map(     cname => new StringIndexer()         .setInputCol(cname)         .setOutputCol(s"${cname}_index")      )

    // Add the rest of your pipeline like VectorAssembler and algorithm     val index_pipeline = new Pipeline().setStages(index_transformers)     val index_model = index_pipeline.fit(vectorData)     val df_indexed = index_model.transform(vectorData)

    //encoding columns     val indexColumns  = df_indexed.columns.filter(x => x contains "index")     val one_hot_encoders: Array[org.apache.spark.ml.PipelineStage] = indexColumns.map(     cname => new OneHotEncoder()        .setInputCol(cname)        .setOutputCol(s"${cname}_vec")     )

    val pipeline = new Pipeline().setStages(index_transformers ++ one_hot_encoders)

    val model = pipeline.fit(vectorData)

model.transform(vectorData).select("loss","gender_index_vec","age_index_vec","grade_index_vec","region_index_vec")     .map (         x=>         ml.feature.LabeledPoint(x.apply(0).toString().toDouble ,ml.linalg.Vectors.dense(x.getAs[SparseVector]    ("gender_index_vec").toArray++x.getAs[SparseVector]("age_index_vec").toArray++x.getAs[SparseVector]("grade_index_vec").toArray++x.getAs[SparseVector]("region_index_vec").toArray))      )

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

从七桥问题开始:全面介绍图论及其应用

选自Medium 作者:Vardan Grigoryan 机器之心编译 图论是计算机科学中最重要、最有趣的领域之一,同时也是最容易被误解的。本长文从图论最基础的...

3458
来自专栏Spark学习技巧

Spark的Ml pipeline

ML pipeline提供了一组统一的高级API,它们构建在 DataFrame之上,可帮助用户创建和调整实用的机器学习pipeline。 一 重要概念 1.1...

2829
来自专栏calmound

图的着色

图着色问题,相邻的点颜色不同       基础知识:http://wenku.baidu.com/view/d7242fd1c1c708a1284a444d.h...

2587
来自专栏ChaMd5安全团队

小姐姐教你做CTF逆向题:利用符号执行技术和约束求解器

0x00 前言 在CTF比赛中,逆向类题目常常以考察选手的逆向分析能力、算法分析能力角度出发,通过还原程序中的算法逻辑,从而获取flag。但是如果可以在程序执行...

62012
来自专栏祝威廉

如何在Java应用里集成Spark MLlib训练好的模型做预测

昨天媛媛说,你是不是很久没写博客了。我说上一篇1.26号,昨天3.26号,刚好两个月,心中也略微有些愧疚。今天正好有个好朋友问,怎么在Java应用里集成Spar...

703
来自专栏数据结构与算法

树链剖分详解

前言 树链剖分是什么? 树链剖分,说白了就是一种让你代码不得不强行增加1k的数据结构-dms 个人理解:+1:joy: 有什么用? 证明出题人非常毒瘤 ...

2687
来自专栏小樱的经验随笔

用C#实现字符串相似度算法(编辑距离算法 Levenshtein Distance)

在搞验证码识别的时候需要比较字符代码的相似度用到“编辑距离算法”,关于原理和C#实现做个记录。 据百度百科介绍: 编辑距离,又称Levenshtein距离(也叫...

4385
来自专栏阮一峰的网络日志

四位计算机的原理及其实现

你是否想过,计算机为什么会加减乘除?或者更直接一点,计算机的原理到底是什么? Waitingforfriday有一篇详细的教程,讲解了如何自己动手,制作一台四位...

3236
来自专栏点滴积累

geotrellis使用(四)geotrellis数据处理部分细节

       前面写了几篇博客介绍了Geotrellis的简单使用,具体链接在文后,今天我主要介绍一下Geotrellis在数据处理的过程中需要注意的细节,或者...

3165
来自专栏伦少的博客

spark ML之特征处理(1)

转载请务必注明原创地址为:https://dongkelun.com/2018/05/17/sparkMlFeatureProcessing1/

56010

扫码关注云+社区