我曾经认为花几个小时来预处理数据是数据科学中最有价值的事情。这是我还作为一个初学者时的误解。现在，我意识到，能向一个对机器学习或其他领域的行话不太了解的外行解释你的预测和模型才更有意义。
导读：随着深度学习算法应用越来越广泛，大家不再满足于只得到模型的预测结果，而是希望更好的了解结果产生的原因。构建能让用户理解并信任的模型越来越重要。本文将介绍一种作为复杂模型事后解释器的算法——LIME，并以乳腺癌诊断为例，对XGboost模型结果进行解释。
本文整理了10个常用于可解释AI的Python库，方便我们更好的理解AI模型的决策。
选自Ancestry 作者：Tyler Folkman 机器之心编译 参与：刘晓坤、李泽南 使用 XGBoost 的算法在 Kaggle 和其它数据科学竞赛中经常可以获得好成绩，因此受到了人们的欢迎（可参阅：为什么 XGBoost 在机器学习竞赛中表现如此卓越？）。本文用一个具体的数据集分析了 XGBoost 机器学习模型的预测过程，通过使用可视化手段展示结果，我们可以更好地理解模型的预测过程。 随着机器学习的产业应用不断发展，理解、解释和定义机器学习模型的工作原理似乎已成日益明显的趋势。对于非深度学习类型
AIOps领域关于指标、日志和trace数据的异常检测与定位的研究工作很多，这些工作中的异常更多是时序指标上的表现异常，与真实的故障相距甚远，真实的故障是极其稀疏的，与运维工作人员每天接受到的异常检测算法识别出来的告警量不在一个数量级。本文主要介绍一种实时故障预测的文章《Real-Time Incident Prediction for Online Service Systems》，使用告警数据来预测未来一段时间是否会发生真实故障。
随着机器学习应用的逐渐增多，解释性机器学习成为一个备受关注的领域。解释性机器学习旨在提高模型的可理解性，使决策过程更加透明，从而增强用户对模型的信任。本文将深入探讨解释性机器学习的工具和技术，结合实例演示，并提供代码解释，同时介绍数据处理的关键步骤。
我们已经到达了本文最受期待的部分 - 构建模型！这就是我们大多数人首先进入数据科学领域的原因，不是吗？
导读 本文用一个具体的数据集分析了 XGBoost 机器学习模型的预测过程，通过使用可视化手段展示结果，我们可以更好地理解模型的预测过程。 随着机器学习的产业应用不断发展，理解、解释和定义机器学习模型的工作原理似乎已成日益明显的趋势。对于非深度学习类型的机器学习分类问题，XGBoost 是最流行的库。由于 XGBoost 可以很好地扩展到大型数据集中，并支持多种语言，它在商业化环境中特别有用。例如，使用 XGBoost 可以很容易地在 Python 中训练模型，并把模型部署到 Java 产品环境中。 虽然
【磐创AI导读】：本系列文章为大家总结了24个热门的python库，查看上篇。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。一文总结数据科学家常用的Python库（上）
在这里的erro打分利用的是Brier分数。它是衡量概率校准的一个参数。简单来说，Brier分数可以被认为是对一组概率预测的“校准”的量度，或者称为“ 成本函数 ”，这一组概率对应的情况必须互斥，并且概率之和必须为1。Brier分数对于一组预测值越低，预测校准越好。例如：如果预测为70％（P = 0.70），并且下雨，则Brier评分为（0.70-1）2= 0.09。接下来看下结果的详细信息：
今天为大家介绍的是来自Sabina Podlewska团队的一篇论文。在新药物的探索过程中，计算策略的发展改变了寻找新药的方式。虽然计算机辅助设计的策略依旧主要集中于确保候选化合物对特定目标的有效性，但是化合物的理化性质及ADMET（吸收、分布、代谢、排泄和毒性）特性的表征已成为计算机辅助药物设计不可或缺的一部分。在这项研究中，作者开发了一款在线应用程序ADMET-PrInt，用于对选定化合物的以下特性进行计算机辅助评估：心脏毒性、溶解度、遗传毒性、膜透过性和血浆蛋白结合能力。除了预测特定属性外，ADMET-PrInt还能够通过解释性方法识别影响这些属性的化合物特征。这对于药物化学家来说至关重要，因为它极大地简化了根据评估属性对化合物结构进行优化的过程。
机器学习模型变得越来越复杂和准确，但它们的不透明性仍然是一个重大挑战。理解为什么一个模型会做出特定的预测，对于建立信任和确保它按照预期行事至关重要。在本文中，我们将介绍LIME，并使用它来解释各种常见的模型。
目前人工智能应用已经渗透到我们生活的方方面面，成为我们生活中重要的一部分。我们相信，随着机器学习技术的不断进步，未来有望产生一个能够感知、学习、做出决策和采取独立行动自主系统。但是，如果这些系统无法向人类解释为何作出这样的决策，那么它们的有效性将会受到限制。用户要理解，信任和管理这些人工智能“合作伙伴”，可解释AI则至关重要。
——————————————————————————————————————————————————
这篇文章中包括的类别，我们认为这些类别考虑了通用的数据科学库，即那些可能被数据科学领域的从业人员用于广义的，非神经网络的，非研究性工作的库：
📷 来源：DeepHub IMBA本文约1500字，建议阅读5分钟本文为你介绍6个用于可解释性的Python框架。 随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。AI就
📷 大数据文摘转载自数据派THU 来源：DeepHub IMBA 随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其
随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。建立一个AI模型，输入数据，然后再输出结果，但有一个问题就是我们不能解释AI为何会得出这样的结论。需要了解AI如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。
📷 来源：DeepHub IMBA本文约1700字，建议阅读5分钟在本文中，将介绍6个用于机器学习可解释性的Python框架。 随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的
简单的模型例如线性回归，LR等模型非常易于解释，但在实际应用中的效果却远远低于复杂的梯度提升树模型以及神经网络等模型。现在大部分互联网公司的建模都是基于梯度提升树或者神经网络模型等复杂模型，遗憾的是，这些模型虽然效果好，但是我们却较难对其进行很好地解释，这也是目前一直困扰着大家的一个重要问题，现在大家也越来越加关注模型的解释性。
之前在XGBoost（一）：与同类算法的差异对比一文中介绍了Bagging与Boost、AdaBoost与Gradient Boost、GBDT与XGBoost对比，本文我们接着来介绍如何在R中实现XGBoost。
事实上，由于Python库种类很多，要跟上其发展速度非常困难。因此，本文介绍了24种涵盖端到端数据科学生命周期的Python库。
2019年2月，波兰政府对银行法进行了修订，赋予客户在做出信贷拒绝时获得解释的权利。这是在欧盟实施GDPR的直接后果之一。这意味着，如果决策过程是自动的，银行需要能够解释为什么不发放贷款。
本文介绍了 5 大常用机器学习模型类型：集合学习算法，解释型算法，聚类算法，降维算法，相似性算法，并简要介绍了每种类型中最广泛使用的算法模型。我们希望本文可以做到以下三点： 1、应用性。 涉及到应用问题时，知识的普适性显然非常重要。所以我们希望通过给出模型的一般类别，让你更好地了解这些模型应当如何应用。 2、相关性。 本文并不包括所有的机器学习模型，比如Naïve Bayes（朴素贝叶斯）和SVM这种传统算法，在本文中将会被更好的算法所取代。 3、可消化性。对于数学基础较薄弱的读者而言，过多地解释算法会让
本文介绍了 5 大常用机器学习模型类型：集成学习算法，解释型算法，聚类算法，降维算法，相似性算法，并简要介绍了每种类型中最广泛使用的算法模型。我们希望本文可以做到以下三点：
本文介绍了 5 大常用机器学习模型类型：集合学习算法，解释型算法，聚类算法，降维算法，相似性算法，并简要介绍了每种类型中最广泛使用的算法模型。我们希望本文可以做到以下三点：1、应用性。涉及到应用问题时，知识的普适性显然非常重要。所以我们希望通过给出模型的一般类别，让你更好地了解这些模型应当如何应用。2、相关性。本文并不包括所有的机器学习模型，比如Naïve Bayes（朴素贝叶斯）和SVM这种传统算法，在本文中将会被更好的算法所取代。3、可消化性。对于数学基础较薄弱的读者而言，过多地解释算法会让这篇文章的可
可解释的AI（XAI）一直是人们研究的一个方向，在这篇文章中，我们将看到如何使用LIME来解释一个模型是如何学习扑克规则的。在这个过程中，我们将介绍:
Svelte 是一种全新的构建用户界面的方法。传统框架如 React 和 Vue 在浏览器中需要做大量的工作，而 Svelte 将这些工作放到构建应用程序的编译阶段来处理。
来源：DeepHub IMBA 本文约3000字，建议阅读9分钟 本文教你如何使用LIME来解释一个模型是如何学习扑克规则的。 可解释的AI（XAI）一直是人们研究的一个方向，在这篇文章中，我们将看到如何使用LIME来解释一个模型是如何学习扑克规则的。在这个过程中，我们将介绍： 如何将LIME应用到扑克游戏中； LIME如何工作； LIME 的优点和缺点是什么。 将LIME应用到扑克游戏中 目标 我们的目标是建立一个可以预测扑克牌的模型。“五张”使用一种扑克牌的游戏规则，其中的组合决定了你是否赢得
1、Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。
一直在学习机器学习的项目；学的断断续续。近期需要完成一些数据建模与分析，将机器学习重新整理了一遍。这篇文章主要是介绍R数据科学中，构建机器学习模型的流程。为了更适合无基础的人快速了解整个流程框架，本文省去机器学习模型的原理及公式部分，如果需要了解，请戳 Here 。
大家都知道，Python 和 SAS 是两个很常用的数据挖掘工具。Python 开源、免费、有丰富的三方库，一般在互联网公司广泛使用。而SAS需付费，且费用较高，一般互联网公司无法承担，更多的是在银行等传统金融机构中使用，不过这两年由于Python太火，原本使用SAS的也开始逐渐转向Python了。
这是一个故事，关于错误地解释机器学习模型的危险以及正确解释所带来的价值。如果你发现梯度提升或随机森林之类的集成树模型具有很稳定的准确率，但还是需要对其进行解释，那我希望你能从这篇文章有所收获。
传统网络安全威胁分析依赖专家知识及基本的数据分析，然而随着攻击技术的复杂化、安全数据接入的多元化，高性能人工智能技术越来越多的应用到威胁分析中，试图解放安全行业的生产力。更复杂的模型往往具备高知识容量，能够支持大规模、高维非线性数据的分析，于此同时，其内部表示学习过程、决策过程愈发不可解释，执行逻辑难以被人类直观理解，逐渐成为“黑盒”模型，反而降低了安全应用的智能化、自动化程度。
目前很多机器学习模型可以做出非常好的预测，但是它们并不能很好地解释他们是如何进行预测的，很多数据科学家都很难知晓为什么该算法会得到这样的预测结果。这是非常致命的，因为如果我们无法知道某个算法是如何进行预测，那么我们将很难将其前一道其它的问题中，很难进行算法的debug。
XGBoost是“Extreme Gradient Boosting”的缩写，是一种高效的机器学习算法，用于分类、回归和排序问题。它由陈天奇（Tianqi Chen）在2014年首次提出，并迅速在数据科学竞赛和工业界获得广泛应用。XGBoost基于梯度提升框架，但通过引入一系列优化来提升性能和效率。
模型可解释性汇总
从将近250个机器学习开源项目中，综合各种条件进行打分排序，最终Mybridge团队评选出十大最新、最棒的机器学习开源项目。 这份Top10名单中包括对象检测、换脸、预测等等最热的AI明星、话题性研究和代码。它们在GitHub上的平均标星数量是2500多颗。 希望这10大开源项目，对你有所帮助~ Rank 10 NPMT 作者：Posenhuang等（微软研究院） GitHub地址：https://github.com/posenhuang/NPMT ★Star：68 NPMT，基于短语的神经机器翻译，这是
寄语：PyCaret，是一款 Python中的开源低代码（low-code）机器学习库，支持在「低代码」环境中训练和部署有监督以及无监督的机器学习模型，提升机器学习实验的效率。
导读：Global Surrogate Models 是一种模型解释方法，旨在通过一个可解释的模型来近似黑盒模型在整个输入特征范围内的预测结果。这种方法的核心思想是使用一个全局替代模型来揭示黑盒模型的决策过程和行为模式。
r的取值范围是[-1,1]，r=1表示完全正相关！r=-1表示完全负相关！r=0表示完全不相关。
• 易用性和灵活性 • 全行业高接受度：Python无疑是业界最流行的数据科学语言 • 用于数据科学的Python库的数量优势 数据科学 文中提及了用于数据清理、数据操作、可视化、构建模型甚至模型部署(以及其他用途)的库。这是一个相当全面的列表，有助于你使用Python开启数据科学之旅。 用于不同数据科学任务的Python库 用于数据收集的Python库：
Selenium是一个Web测试自动化框架，最初是为软件测试人员创建的。它提供了Web驱动程序API，供浏览器与用户操作交互并返回响应。它运行时会直接实例化出一个浏览器，完全模拟用户的操作，比如点击链接、输入表单，点击按钮提交等。所以我们使用它可以很方便的来登录网站和爬取数据。
Mybridge AI从250多个AI开源项目中，以分享次数（the number of shares）、阅读时长（minutes read）等为features，通过自创的机器学习实验法进行排序 ，最终挑选出了Top8 。截止到发稿时间（2019-09-16 23:21），这些项目平均Star数为：1,355 ⭐️。
想提高机器学习实验的效率，把更多精力放在解决业务问题而不是写代码上？低代码平台或许是个不错的选择。
模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更能够帮助更好的理解模型本身和提升模型服务质量。本文对机器学习模型可解释性相关资料汇总survey。
XGBoost是一个最初用C++编写的机器学习库，通过XGBoost R包中移植到R。在过去的几年里，XGBoost在Kaggle竞赛中的有效性让它大受欢迎。在Tychobra, XGBoost是我们的首选机器学习库。
XGBoost在机器学习中被广泛应用于多种场景，特别是在结构化数据的处理上表现出色，XGBoost适用于多种监督学习任务，包括分类、回归和排名问题。在数据挖掘和数据科学竞赛中，XGBoost因其出色的性能而被频繁使用。例如，在Kaggle平台上的许多获奖方案中，XGBoost都发挥了重要作用。此外，它在处理缺失值和大规模数据集上也有很好的表现。
领取专属 10元无门槛券
手把手带您无忧上云
