LIME：我可以解释任何一个分类模型的预测结果 ? image-20210630115214018 论文标题：“Why Should I Trust You?”...主要贡献： 提出了一种技术手段，可以为任意的分类模型提供预测结果的解释。 背景： 在模型被用户使用前，用户都会十分关心模型是否真的值得信赖。...一个理想的解释器（explainer）应该是怎样的？...LIME流程图 重点注意： 这里g和f使用的训练数据是不同的，但我们希望他们的输出结果是逼近的。 我们是针对一个样本进行解释，即给定一个样本，解释为什么模型这样预测。 先“转换”，再“转换回来”。...而第二个模型找到的特征是错误的，这是由于训练集中的偏差导致的。 对于图像分类问题，也是类似的： ? 上图的结果，是通过对g的正权重对应的区域进行高亮。从而可以解释为什么模型预测出了相应的类别。
介绍 这篇文章里，我们使用python + numpy实现一个线性分类器，使用mnist的数据集对线性分类器进行训练与预测。文章会详细介绍线性分类器的实现细节包括，前向传播，反向传播实现。...： 这里实现的线性分类器很简单，首先将输入拉平为一个向量，我们使用一个权重矩阵乘以该输入得到输出向量，使用softmax得到 不同类别的分数，最终挑选分数最大的类别作为当前输入所属类别的预测结果。...则权重矩阵的维度为 64 * 10(或者10 * 64，取决于是权重左乘 输入还是输入左乘权重)，得到10维的输出向量后，使用softmax以下公式，计算输入对于每个分类的得分（也可以理解为属于该分类的概率...），softmax这里会将所有在上一步得到的值缩放到大于0 的范围，然后给每个分类计算一个0-1的值，所有分类的值总和为1 image.png 前向传播 有个上述的分类器结构，我们的前向传播就很好理解了...交叉熵损失函数对输入pc的导数较为复杂，但是 交叉熵加softmax整体对上面线性分类器的输出z的导数解析形式很简单： 这里dz = pc - yc 关于这个式子由来的详细解释很多，例如这篇博客：https
1 分类-分析情感 2 从主题预测情感:智能餐厅评价系统 2.1 今天是个好日子,我想在一家日本餐厅预订一个座位 2.2 正面的评价不能代表所有方面都是正面的 2.3 从评价到主题情感 2.4 智能餐厅评价系统...核心构造模块 3 分类器应用 3.1 分类器 示例多元分类器:输出 y 多于两类 垃圾邮件过滤 图像分类 个性化医学诊断 读懂你的心 4 线性分类器 表示分类器 阈值分类器的问题 (线性)分类器 给句子打分...5 决策边界 假如只有两个非零权重的词语 决策边界示例 决策边界区分了正面和负面的预测 6 训练和评估分类器 训练分类器 = 学习权重 分类误差 分类误差 / 精度 7 什么是好的精度 如果忽略句子直接猜测
LIME 试图解释机器学习模型在做什么。LIME 支持解释文本分类器、表格类数据或图像的分类器的个别预测。 3、Eli5 ELI5是一个Python包，它可以帮助调试机器学习分类器并解释它们的预测。...它提供了以下机器学习框架和包的支持: scikit-learn：ELI5可以解释scikit-learn线性分类器和回归器的权重和预测，可以将决策树打印为文本或SVG，显示特征的重要性，并解释决策树和基于树集成的预测...ELI5还可以理解scikit-learn中的文本处理程序，并相应地突出显示文本数据。 Keras -通过Grad-CAM可视化解释图像分类器的预测。...CatBoost：显示CatBoostClassifier和CatBoostRegressor的特征重要性。 lightning -解释lightning 分类器和回归器的权重和预测。...算法解释任何文本分类器的预测。
在本文中，我们将介绍一种方法，用来解释这篇论文中的任何一种分类器的预测结果，并且用开源包来实现。 动机：我们为什么要理解预测结果？ 机器学习如今是非常火的一个话题。...这里，图像中的是木吉他，分类器却预测为电吉他。解释部分阐述了为何两者被混淆了：它们的指板很相似。lime包目前暂时还无法实现图像分类器的解释，我们正在开发中。 ?...名字的每一部分反映了我们进行解释的意图。Local指的是局部保真——也就是说我们希望解释能够真实地反映分类器在被预测样本上的行为。...Lime用可以被理解的表征方式（比如用单词）来解释这些分类器，即使它不是分类器真正在使用的方式。另外，lime考虑了人类的局限性：解释内容不会过长。...如果你想对文本分类器使用lime，请下载我们的python工具包。安装命令如下： pip install lime 工具包的使用很简单。它特别容易解释scikit-learn的分类器。
LIME LIME代表本地可解释的模型-不可知的解释，是帮助理解和解释复杂机器学习模型所做决定的工具。...这使我们不能使用任何简单的模型作为解释器，可以进行加权输入，例如ridge regression。 现在，我们可以解释原实例的预测。...通过上面描述的示例模型，您可以看到如下图中6个患者/实例的8个最重要特征的LIME输出: 六个方面中的每一个方面都显示了对单个患者或实例的预测的解释。...每个facet的头部给出了病例编号(这里是患者ID)，并预测了类标签，且给出了概率。例如，上面的例子描述了被归类为“ckd”的案例4，概率为98%。...再一次描述上方的例子:条状图显示血红蛋白的值在0.388到0.466之间，支持分类为“ckd”; packed cell volume (pcv)、血清肌酸酐(sc)等同样支持“ckd”的分类。
今天，我将关注LIME。 ❝根据Ribeiro等人[2]的LIME论文，LIME的目标是“在可解释表示上识别一个局部忠实于分类器的可解释模型”。换句话说，LIME能够解释某一特定点的分类结果。...从数据点可以看出，线性分类器将无法识别区分正负标签的边界。因此，我们可以训练一个非线性模型，例如神经网络，来对这些点进行分类。...float) # 创建一个LIME解释器 X = X_test.values explainer = lime.lime_tabular.LimeTabularExplainer(X,feature_names...解释为什么样本被预测为恶性 ? 这里，我们有一个数据点，实际上是恶性的，并且被预测为恶性。在左边的面板上，我们看到KNN模型预测这一点有接近100%的概率是恶性的。...解释样本预测不清楚的原因 ? 在最后一个例子中，我们看到这个模型无法很好地预测细胞是良性还是恶性。你能用LIME的解释明白为什么会这样吗？
通过模型可解释方法，可以直观地传递关于模型行为的解释，比如为什么这个样本被预测为这个标签，某个特征对预测结果起到了什么样的作用。 1.1 可解释的重要性 模型改进 通过可解释分析，可以指导特征工程。...但是用LIME进行可解释分析发现，Posting（邮件标头的一部分）这个词重要性很高，但这个词汇与无神论本身并没有太多的联系，只是因为在无神论文章中出现的频次很高。...如上图，选择17点左右被模型预测出来的异常点，我们使用LIME方法计算该点的特征解释情况。...下图是LIME的输出，给我们解释了对于一个样本的预测结果，是哪些特征决定样本被分类到类别0，哪些特征决定样本被分类到类别1，且具体列出样本在这些特征的数值大小。...但是该样本的预测置信度不是很高，预测为异常和预测为正常的概率相差不多。
LIME LIME (Local Interpretable Model-agnostic Explanations)是一个强大的Python库，可以帮助解释机器学习分类器(或模型)正在做什么。...LIME的主要特点: 创建简单、可解释的解释来理解复杂ML模型的预测。 检查单个预测来识别模型中潜在的偏差和错误。 理解有助于准确预测的特征来提高模型性能。...可以使用pip安装LIME: pip install lime 1、分类模型 要将LIME与分类模型一起使用，需要创建一个解释器对象，然后为特定实例生成解释。...LIME也可以用来解释由文本模型做出的预测。...总结 LIME是解释机器学习分类器(或模型)正在做什么的宝贵工具。通过提供一种实用的方法来理解复杂的ML模型，LIME使用户能够信任并改进他们的系统。
如果不用图像显示特征分布，很难解释规律性； 独立性假设：需要满足特征两两独立，如果特征之间存在相关性，所求结果不合理； 异步效应可能被隐藏：特征变化对整个数据集带来的影响，也许一半数据集预测增加，一半介绍...局部忠诚（ local fidelity）：既然我们已经使用了可解释的模型与特征，就不可能期望简单的可解释模型在效果上等同于复杂模型（比如原始CNN分类器）。...2.4.1 可解释性和性能的平衡 ：分类器（复杂模型） ：可解释模型（简单模型，eg.LR） ：可解释模型集合 ：可解释模型的复杂度度量 ：特征 ：目标函数 ：相似度度量函数 ：损失函数 2.4.2...2.5.2 优缺点 优点： SHAP值的计算是公平分配到不同的特征的，而LIME是选择一部分特征进行解释； 可以进行对比分析，同一个特征在不同样本之间的SHAP值进行比较，但是LIME不能； 具有坚实的理论基础...如果，对其修改某个特征后，概率会降低。这样可以解释，是因为某个特征值，模型预测的概率比较高。
不理解模型预测的后果 上述两个例子的共同之处在于，银行业的模型和亚马逊构建的模型都是非常复杂的工具，即所谓的黑箱分类器，它们不提供直接的、可由人类解释的决策规则。...LIME背后的思想是局部逼近一个黑盒模型，在可解释的输入数据上构造一个更容易理解的白盒模型。它为图像分类和文本解释提供了很好的结果。...我们将使用的“Husky vs Wolf例子”来说明模型解释的重要性。分类器的任务是识别图片上是否有狼。它错误地将西伯利亚哈士奇误认为狼。...分类作为决策支持系统 阿姆斯特丹联合医科大学重症监护室希望预测患者出院时再入院和/或死亡的概率。其目的是帮助医生选择正确的时机将病人从ICU转移出来。...随机森林模型(black-box model)用于预测死亡状态，lime包用于局部解释每个患者的预测得分。 ?
1.1.2 优化的深度模型增强可解释性 针对深度学习可解释性的研究不同于一般的深度神经网络的层次化可视化方法。可视化“忠实”输出网络学习的知识，而可解释性需要考虑学习到的知识是否是人类更容易理解的。...图9 LIME预测解释效果 上图展示了LIME对图像的可解释能力，右侧三个子图分别标明了谷歌的Inception network模型根据图像的哪一部分将该图预测为电子吉他、木吉他或者拉布拉多犬（从左到右...，类别预测概率依次降低）。...SHAP架构提供的特征重要性解释如下所示，该结果显示了将模型预测从基准值(训练数据集中的平均模型输出)推进到待解释样本的模型预测，每个特征的贡献，将预测值推高的特征用红色表示，将预测值推低的特征用蓝色表示...图12 SHAP特征贡献可视化图 1.2.3 全局代理模型（Global Surrogate Models） 不同于LIME等局部代理模型，全局代理模型能够提供整个模型的可解释性，而不仅仅是针对某个或某些个样本实例的解释
其基本思想是识别分类实例中对分类器预测影响最大的一小部分人类可理解的特征。这些都是作为一种解释。...在出版物中对这些解释的评价往往是接受符合人类期望的东西，而实际上却无法验证解释所显示的东西是否真的导致了模型的预测。...本文报告了有针对性的调查，我们试图得到更多的深入了解莱姆的解释在音频分类任务的实际准确性。我们特意为分类器设计了对抗性的例子，让我们知道输入的哪些部分可能对模型的（错误的）预测负责。...其基本思想是识别分类实例中对分类器预测影响最大的一小部分人类可理解的特征。这些都是作为一种解释。...在出版物中对这些解释的评价往往是接受符合人类期望的东西，而实际上却无法验证解释所显示的东西是否真的导致了模型的预测。
无论人类是直接使用机器学习分类器作为工具，还是在其他产品中部署模型，仍然存在一个至关重要的问题：如果用户不信任模型或预测，他们就不会使用它。...ROC曲线 & PR曲线 & KS曲线 实际应用中，通常是先基于训练好的分类器得出测试样本的预测概率，然后将该测试样本的预测概率与给定的阈值进行比较，若该预测概率大于给定阈值，则将该测试样本划分为正类，...LIME旨在提供局部可解释性，因此对于特定决策或结果最为准确。 我们希望解释器与模型无关，并且在局部可靠。局部可靠的解释捕获要解释的实例邻域中的分类器行为。...为了学习局部解释，LIME使用可解释的模型近似分类器围绕特定实例的决策边界。 LIME与模型无关，这意味着它将模型视为黑盒子，并且不对模型行为做出任何假设。这使得LIME适用于任何预测模型。...在复杂的机器学习模型预测的基础上，选择正则化的收缩率最小的lasso预测拟合的特征 使用不多于我们已经选择了的特征的节点数量来构建决策树 ## 创建LIME解释器 explainer = lime.lime_tabular.LimeTabularExplainer
导读 本文用一个具体的数据集分析了 XGBoost 机器学习模型的预测过程，通过使用可视化手段展示结果，我们可以更好地理解模型的预测过程。...随着机器学习的产业应用不断发展，理解、解释和定义机器学习模型的工作原理似乎已成日益明显的趋势。对于非深度学习类型的机器学习分类问题，XGBoost 是最流行的库。...这种个体层次上的分析对于生产式机器学习系统可能非常有用。考虑其它例子，使用模型预测是否可以某人一项贷款。...幸运的是，近期出现了华盛顿大学关于解释任意分类器的预测过程的研究。他们的方法称为 LIME，已经在 GitHub 上开源（https://github.com/marcotcr/lime）。...基本上，首先需要定义一个处理训练数据的解释器（我们需要确保传递给解释器的估算训练数据集正是将要训练的数据集）： ? 随后你必须定义一个函数，它以特征数组为变量，并返回一个数组和每个类的概率： ?
无论人类是直接使用机器学习分类器作为工具，还是在其他产品中部署模型，仍然存在一个至关重要的问题：如果用户不信任模型或预测，他们就不会使用它。...ROC曲线 & PR曲线 & KS曲线 实际应用中，通常是先基于训练好的分类器得出测试样本的预测概率，然后将该测试样本的预测概率与给定的阈值进行比较，若该预测概率大于给定阈值，则将该测试样本划分为正类，...LIME旨在提供局部可解释性，因此对于特定决策或结果最为准确。 我们希望解释器与模型无关，并且在局部可靠。局部可靠的解释捕获要解释的实例邻域中的分类器行为。...为了学习局部解释，LIME使用可解释的模型近似分类器围绕特定实例的决策边界。LIME与模型无关，这意味着它将模型视为黑盒子，并且不对模型行为做出任何假设。这使得LIME适用于任何预测模型。...在复杂的机器学习模型预测的基础上，选择正则化的收缩率最小的lasso预测拟合的特征 使用不多于我们已经选择了的特征的节点数量来构建决策树 ## 创建LIME解释器 explainer = lime.lime_tabular.LimeTabularExplainer
对于模型，我们选择了一个随机森林分类器。使用hyperopt对模型的超参数进行了调优。加权f1得分为0.75，可以合理预测给定5张牌作为输入的扑克牌。...我们将使用这个逻辑来确定为什么这个随机森林分类器预测某些结果。 现在让我们看看他是如何工作的： 上面的分类器预测我们的牌是”一对“。为什么会这样预测呢?...看看LIME解释: LIME构建了一个可视化的图。在垂直轴上是特征值：显示手中的牌的数字和花色。在横轴上是各种特征值对分类的贡献。...这些贡献值被缩放为相同的维度，并显示一个特征是有利于预测(绿色)，还是不利于预测(红色)。 我们的第一手牌是一对，你可能会认为两个a的贡献最大。但是LIME告诉我们情况并非如此。...研究为什么这个确切的特征触发了LIME模型是做进一步探索性数据分析的一个极好的切入点。 我们再继续研究另外一套： 使用LIME解释 可以看到牌的数字比花色对同花顺的分类贡献更大。
对于模型，我们选择了一个随机森林分类器。使用hyperopt对模型的超参数进行了调优。加权f1得分为0.75，可以合理预测给定5张牌作为输入的扑克牌。在本文末尾会有完整的代码。...这样，即使原始模型不能告诉你它为什么预测结果，你也可以使用LIME来确定是什么影响了它的决策。我们将使用这个逻辑来确定为什么这个随机森林分类器预测某些结果。...现在让我们看看他是如何工作的： 上面的分类器预测我们的牌是”一对“。为什么会这样预测呢?看看LIME解释： LIME构建了一个可视化的图。在垂直轴上是特征值：显示手中的牌的数字和花色。...在横轴上是各种特征值对分类的贡献。这些贡献值被缩放为相同的维度，并显示一个特征是有利于预测(绿色)，还是不利于预测(红色)。 我们的第一手牌是一对，你可能会认为两个a的贡献最大。...研究为什么这个确切的特征触发了LIME模型是做进一步探索性数据分析的一个极好的切入点。 我们再继续研究另外一套： 使用LIME解释 可以看到牌的数字比花色对同花顺的分类贡献更大。
以前写过一篇文章，用过SHAP这个库： 基于随机森林模型的心脏病患者预测分类 数据集中每个特征对模型预测的贡献由Shapley值解释。...它可以帮助解释机器学习模型正在学习什么以及为什么他们以某种方式预测。Lime目前支持对表格的数据，文本分类器和图像分类器的解释。 知道为什么模型会以这种方式进行预测对于调整算法是至关重要的。...Shapash提供了几种类型的可视化，显示了每个人都能理解的明确标签。数据科学家可以更轻松地理解他们的模型并分享结果。最终用户可以使用最标准的摘要来理解模型是如何做出判断的。”...为了表达数据中包含故事、见解和模型的发现，互动性和漂亮的图表必不可少。业务和数据科学家/分析师向AI/ML结果展示和互动的最佳方法是将其可视化并且放到web中。...使用InterpretML构建的局部解释交互式图 使用InterpretML构建的全局解释图 ELI5 ELI5是一个可以帮助调试机器学习分类器并解释它们的预测的Python库。
本文用一个具体的数据集分析了 XGBoost 机器学习模型的预测过程，通过使用可视化手段展示结果，我们可以更好地理解模型的预测过程。...随着机器学习的产业应用不断发展，理解、解释和定义机器学习模型的工作原理似乎已成日益明显的趋势。对于非深度学习类型的机器学习分类问题，XGBoost 是最流行的库。...这种个体层次上的分析对于生产式机器学习系统可能非常有用。考虑其它例子，使用模型预测是否可以某人一项贷款。...幸运的是，近期出现了华盛顿大学关于解释任意分类器的预测过程的研究。他们的方法称为 LIME，已经在 GitHub 上开源（https://github.com/marcotcr/lime）。...基本上，首先需要定义一个处理训练数据的解释器（我们需要确保传递给解释器的估算训练数据集正是将要训练的数据集）： X_train_imputed = cv.best_estimator_.named_steps
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
