专栏首页个人分享最大熵的Java实现

最大熵的Java实现

这是一个最大熵的简明Java实现,提供训练与预测接口。训练采用GIS训练算法,附带示例训练集。本文旨在介绍最大熵的原理、分类和实现,不涉及公式推导或其他训练算法,请放心食用。

最大熵理论

简介

最大熵属于辨识模型,能够满足所有已知的约束, 对未知的信息不做任何过分的假设。

什么叫已知的约束?本文不会使用晦涩的术语迷惑你,请看这样一个例子:

你的朋友每天都会“出门”或者“自宅”,这两种活动是同时受“天气”“心情”“湿度”(因为她是女孩子)影响的,我们可以称其为特征。

接下来我们从她的微博历史记录收集到了一些“活动<->特征”的对应例子,比如:

  1. “今天天气真好,我很开心,所以出门逛街了”
  2. “太干燥了,我要睡个美容觉!”
  3. “我的备胎2号又来踩我的微博主页了,气死我了!魔都的雨冷死了,干脆看美剧算了!”
  4. “男神约我逛街,就算天气差,我也要去!”
  5. ……

我们从直觉上可以感受到,这是一个……绿茶婊( ̄_ ̄|||) 跑题了……我们从直觉上可以感受到,“天气好”对“出门”是正相关的,“心情好”也是如此,心情差则是负相关,但是这并非绝对的,可能只有在“不干燥”的情况才成立。

最大熵可以将我们的直觉数字化,将其作为一种特征(或称特征函数),并且计算出每一种特征有多重要。约束指的是,预测出的结果的分布都满足对特征统计出的概率,且这些概率均匀分布,最终的结果是,导致系统的熵最大。

最大熵没有假设“天气”与“心情”独立分布,也没有承认“天气”对“心情”有影响,也许它的确有影响,但是最大熵只保证最终结果符合概率约束。

如果你有深厚的数学修养和足够的时间,可以选择阅读附录中的论文与推导过程,在那里你会得到严密的描述与公式推导。

分类

最大熵模型根据样本信息进行概率估计可分为2 种:联合最大熵模型和条件最大熵模型。假设a 是某个事件,b 是事件a 发生的环境(或称上下文),则a 和b 的联合概率记为p(a, b)。一般地,设所有可能发生的事件组成的集合为A,所有环境组成的集合是B,则对任意给定的a∈A, b∈B,求概率p(a, b)须建立联合最大熵模型。若要计算在b 的条件下,事件a 发生的概率,即概率p(a | b),则须建立条件最大熵模型。

本文实现的最大熵模型属于条件最大熵模型。

实现

已经将项目开源在https://github.com/hankcs/MaxEnt ,请检出Java代码后进行下一步。

(PS:主要代码来自“CSDN厚”,请参考Reference)

训练集

假如我们把上文采集到的微博制作成计算机可读的数据集data/train.txt(已经包含在该开源项目中):

Outdoor Sunny Happy
Outdoor Sunny Happy Dry
Outdoor Sunny Happy Humid
Outdoor Sunny Sad Dry
Outdoor Sunny Sad Humid
Outdoor Cloudy Happy Humid
Outdoor Cloudy Happy Humid
Outdoor Cloudy Sad Humid
Outdoor Cloudy Sad Humid
Indoor Rainy Happy Humid
Indoor Rainy Happy Dry
Indoor Rainy Sad Dry
Indoor Rainy Sad Humid
Indoor Cloudy Sad Humid
Indoor Cloudy Sad Humid

我们看到数据最长有4列,每一行第一列表示当天的活动,其余的表示当天的环境。

训练

训练的目的其实是计算出一组最优的拉格朗日乘子,对应表示每个特征函数有多重要。

GIS算法

定义λi为特征函数i的拉格朗日乘子,C为每个事件最多有多少个特征,log中的分子与分母分别表示经验分布期望与模型估计期望。

GIS算法用第N次迭代的模型来估算每个特征在训练数据中的分布。如果超过了实际的(分式小于1,log得到负数),就把相应参数变小(加上负数就变小)。否则,将它们变大。当训练样本的特征分布和模型的特征分布相同时,就求得了最优参数。

这个式子用Java描述如下:

        for (int i = 0; i < maxIt; ++i)
        {
            computeModeE(modelE);
            for (int w = 0; w < weight.length; w++)
            {
                lastWeight[w] = weight[w];
                weight[w] += 1.0 / C * Math.log(empiricalE[w] / modelE[w]);
            }
            if (checkConvergence(lastWeight, weight)) break;
        }

预测

终于到了最激动人心的时刻了,作为备胎2号,你准备明天约她看电影。你从天气预报得知,明天天气晴朗,湿度良好。那么她答应你出门的概率是多大呢?

        String path = "data/train.txt";
        MaxEnt maxEnt = new MaxEnt();
        maxEnt.loadData(path);
        maxEnt.train(200);
        List<String> fieldList = new ArrayList<String>();
        fieldList.add("Sunny"); // 假如天晴
        fieldList.add("Humid"); // 并且湿润
        Pair<String, Double>[] result = maxEnt.predict(fieldList);  // 预测出门和自宅的概率各是多少
        System.out.println(Arrays.toString(result));

输出

  1. [Outdoor=0.9747657631914007, Indoor=0.025234236808599233]

看来出门的概率高达97%。

转自:http://www.hankcs.com/nlp/maximum-entropy-java-implementation.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark1.4启动spark-shell时initializing失败

    查看spark-env.sh 和spark-default.conf中的配置发现两边都写的有classpath

    用户3003813
  • 1分钟内检查Linux服务器性能的命令

    在Linux系统中,这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程(进程状态为D)的数量。

    用户3003813
  • Spark on yarn配置项说明与优化整理

    1. #spark.yarn.applicationMaster.waitTries  5    

    用户3003813
  • 聊聊page cache与Kafka之间的事儿

    关于Kafka的一个灵魂拷问:它为什么这么快? 或者说,为什么它能做到如此大的吞吐量和如此低的延迟?

    王知无
  • Linux命令(52)——ipcrm命令

    ipcrm命令用于删除指定ID的IPC(Inter-Process Communication,进程间通信)对象,包括消息队列(message queue)、共...

    Dabelv
  • RPA之眼:AI-OCR,Fax-OCR概述

    OCR是英文“Optical Character Recognition/Reader”的简称,光学字符识别。从名字我们不难看出,OCR就是读取手写和印刷文字,...

    蕉黄
  • jetty、servlet以及spring的衔接源码分析

    对于一个请求来讲,如果只是需要一个静态页面,可以直接在服务器上根据路径访问得到,但是如果请求的数据是一个动态页面,即只有在运行时从后台数据库获取,再拼装东西返回...

    爬蜥
  • Deepmind“好奇心”强化学习新突破!改变奖励机制,让智能体不再“兜圈子”

    强化学习是机器学习中最活跃的研究领域之一,在该领域的研究环境下,人工智能体(agent)做到正确的事情时会获得积极的奖励,否则获得负面的奖励。

    新智元
  • 「镁客·请讲」打造一台眼睛专属“跑步机”,鹰视菲诺是如何用AI拯救近视的?

    镁客网
  • 绘图-iOS在OC项目中集成Charts绘制图表框架

    引入完成之后,编译一下,如果有错,Clean一下再次编译,编译没有错误说明导入成功.

    進无尽

扫码关注云+社区

领取腾讯云代金券