Java程序员实战机器学习——从聚类算法开始

mvn archetype:generate \
          -DinteractiveMode=false \
          -DarchetypeGroupId=org.jetbrains.kotlin \
          -DarchetypeArtifactId=kotlin-archetype-jvm \
          -DarchetypeVersion=1.3.70 \
          -DgroupId=org.ctstudio \
          -DartifactId=customer-cluster \
          -Dversion=1.0

<!-- 使用kotlin8的jdk8扩展，主要是简化文件打开代码 -->
<dependency>
    <groupId>org.jetbrains.kotlin</groupId>
    <artifactId>kotlin-stdlib-jdk8</artifactId>
    <version>${kotlin.version}</version>
</dependency>

<!-- 用来导入、导出CSV格式的数据文件 -->
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-csv</artifactId>
    <version>1.6</version>
</dependency>

<!-- 主要用到了其中的聚类算法 -->
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-math3</artifactId>
    <version>3.6.1</version>
</dependency>

// 定义用户PV实体类，实现Clusterable以便聚类算法使用
// 其中id为第一列用户id，pv为double[]表示用户对各栏目的访问量，clusterId为分类，供保存结果时使用
class UserPV(var id: Int, private val pv: DoubleArray, var clusterId: Int = 0) : Clusterable {
    override fun getPoint(): DoubleArray {
        return pv
    }

    override fun toString(): String {
        return "{id:$id,point:${point.toList()}}"
    }
}

// 使用commons-csv读取数据文件为UserPV列表
fun loadData(filePath: String): List<UserPV> {
    val fmt = CSVFormat.EXCEL
    FileReader(filePath).use { reader ->
        return CSVParser.parse(reader, fmt).records.map {
            val uid = it.first().toIntOrNull() ?: 0
            val pv = DoubleArray(13) { i ->
                it[i + 1]?.toDoubleOrNull() ?: 0.0
            }
            UserPV(uid, pv)
        }
    }
}

// 过滤或处理异常数据，实际业务中，可能需要做更多过滤或处理
// 过滤无效的用户id
val filteredData = originData.filter { it.id > 0 }
// 负数的访问量处理为0
filteredData.forEach { it.point.forEachIndexed { i, d -> if (d < 0.0) it.point[i] = 0.0 } }
// 对PV数据归一化
normalize(filteredData)

fun <T : Clusterable> normalize(points: List<T>, dimension: Int = points.first().point.size) {
    val maxAry = DoubleArray(dimension) { Double.NEGATIVE_INFINITY }
    val minAry = DoubleArray(dimension) { Double.POSITIVE_INFINITY }
    points.forEach {
        maxAry.assignEach { index, item -> max(item, it.point[index]) }
        minAry.assignEach { index, item -> min(item, it.point[index]) }
    }
    // 此处用到了Kotlin的操作符重载，封装了对double[]元素的逐个元素操作
    val denominator = maxAry - minAry
    points.forEach {
        // 此处代码逻辑：(x - min)/(max - min)
        it.point.assignEach { i, item -www.yixingylzc.cn> (item - minAry[i]) / denominator[i] }
    }
}

  // 创建聚类算法实例，"5"为想要归类的类别数量
  // 实际情况下包括k值在内的更多参数需要不断调整、聚类、评估来达到最佳的聚类效果
  val kMeans = KMeansPlusPlusClusterer<UserPV>(5)
  // 使用算法对处理后的数据进行聚类
  val clusters = kMeans.cluster(filteredData)

// 创建聚类算法
val kMeans = KMeansPlusPlusClusterer<UserPV>(www.sangyulpt.com)
// 对数据集进行聚类
val clusters = kMeans.cluster(filteredData)
// 创建Calinski-Harabaszy评估算法
val evaluator = CalinskiHarabasz<UserPV>()
// 为刚才的聚类结果评分
val score = evaluator.score(clusters)

    val evaluator = CalinskiHarabasz<UserPV>(www.shengyunyule.cn)
    var maxScore = 0.0
    var bestKMeans: KMeansPlusPlusClusterer<UserPV>? www.jiuerylzc.cn= null
    var bestClusters: List<CentroidCluster<UserPV>>? = null
    for (k in 2..10) {
        val kMeans = KMeansPlusPlusClusterer<UserPV>(k)
        val clusters = kMeans.cluster(filteredData)
        val score = evaluator.score(clusters)
        //挑选出分数最高的聚类簇
        if (score > maxScore) {
            maxScore = score
            bestKMeans = kMeans
            bestClusters = clusters
        }
        println("k=$k,score=$score")
    }

    //打印最佳的聚类中心数
    println("Best k is ${bestKMeans!!.k}")

// 保存中心点数据
fun saveCenters(
    clusters: List< www.jucaiyle.cn CentroidCluster<UserPV>>,
    fileCategories: String,
    fileCenters: String
) {
    // 从categories.csv中读取版块标题
    val categories = readCategories(fileCategories)
    // 保存按版块标题与聚类中心点
    writeCSV(fileCenters) { printer ->
        printer.print("")
        printer.printRecord(categories)
        for (cluster in clusters) {
            //每类用户数
            printer.print(cluster.points.size)
            //每类访问量均值
            printer.printRecord(cluster.center.point.toList())
        }
    }
}

...

saveCenters(clusters, "categories.csv", "centers.csv")

//保存用户id-类别对应关系到csv文件
fun saveClusters(
    clusters: List<CentroidCluster< www.lecaixuangj.cn UserPV>>,
    fileClusters: String
) {
    writeCSV(fileClusters) { printer jinyang3zhuc.cn->
        var clusterId = 0
        clusters.flatMap {
            clusterId++
            it.points.onEach { p -> p.clusterId = clusterId }
        }.sortedBy {www.lecaixuanzc.cn it.id }.forEach { printer.printRecord(it.id, it.clusterId) }
    }
}
...
saveClusters(clusters, "clusters.csv")