模型可解释性是当今机器学习中最重要的问题之一。通常某些“黑匣子”模型（例如深度神经网络）已部署到生产中，并且正在运行从工作场所安全摄像头到智能手机的所有关键系统。令人恐惧的是，甚至这些算法的开发人员都无法理解为什么正是这些算法真正做出了自己的决定，甚至更糟的是，如何防止对手利用它们。
集成树（tree-based ensemble learning）中，最有名的就是随机森林树（Random Forest，简称RF）与梯度提升树（Gradient Boosting Trees，简称GBM）。而近年在Kaggle 竞赛平台中最火红的XGBoost 也是基于GBM 所延伸出来的演算法。在解释集成树有三个非常好用的方法： 特征重要度（Feature Importance） 部分相依图（Partial Dependence Plot，简称PDP） 个体条件期望图（Individual Conditional Expectation Plot，简称ICE Plot） 这三个方法属于「事后可解释性（post hoc）」并且「通用于任何一种演算法模型（model-agnostic）」。
K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 kNN算法的核心思想是如果一个样本在特征空间相邻的样本中的大多数属中的k个最于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻
这个数据有3列，现在我们要探索身高（height）和体重（weight）的关系，其中vc是需要控制的因素。
在脑科学领域的研究中，进行相关分析必不可少，比如说，我们想知道计算出来的某个指标是否与临床数据或行为学数据之间存在正相关或负相关关系。计算相关系数，最常用的是Pearson相关系数和Spearman相关系数。此外，在研究中，偏相关分析也很常用，其在计算两个变量的相关系数的同时把第三个变量当成协变量来排除这个变量的影响。本文，笔者对相关系数和偏相关系数的原理进行简单论述，并重点说明如何用Matlab实现相关系数和偏相关系数的计算。
中国各城市PM2.5数据间的相关分析 相关分析（correlation analysis）是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。分类: 线性相关分析：研究两个变量间线性关系的程度,用相关系数r来描述。常用的三种计算方式有Pearson相关系数、Spearman和Kendall相关系数。 偏相关分析：当两个变量同时与第三个变量相关时，将第三个变量的影响剔除，只分析另外两个变量之间相关程度的过程。如控制年龄和工作经验的
到目前为止，R语言的数据操作和基础绘图部分已经讲解完毕，换句话说，大家应该已经能将数据导入R中，并运用各种函数处理数据使其成为可用的格式，然后将数据用各种基础图形展示。完成前面这些步骤之后，我们接下来要探索数据中变量的分布以及各组变量之间的关系。
背景：人脑是一个复杂的网络，它无缝地表现出行为和认知。该网络由直接或间接调节大脑区域之间通信的神经元组成。在这里，我们展示了多层/多路网络分析如何提供一个合适的框架来揭示结构连接(SC)的吞吐量，以调节信息传输，从而产生功能连接(FC)。
顾名思义，时间序列是时间间隔不变的情况下收集的时间点集合。这些集合被分析用来了解长期发展趋势，为了预测未来或者表现分析的其他形式。但是是什么令时间序列与常见的回归问题的不同？ 有两个原因： 1、时间序列是跟时间有关的。所以基于线性回归模型的假设：观察结果是独立的在这种情况下是不成立的。 2、随着上升或者下降的趋势，更多的时间序列出现季节性趋势的形式，如：特定时间框架的具体变化。即：如果你看到羊毛夹克的销售上升，你就一定会在冬季做更多销售。 常用的时间序列模型有AR模型、MA模型、ARMA模型和ARI
前阵子，我花了一点时间和记者聊了聊广告商是如何在网上追踪用户行为的。我们非常愉快的在一起查看火狐浏览器的开发者工具，并在实践中学会了一些有关通过像素来追踪用户的实际工作原理。
1、关于KMO公式，您从如下matlab源程序代码中不难得出，我已经用Excel就计算出来了，跟SPSS的计算结果完全一致。
今天给大家分享一个新的kaggle案例：基于随机森林模型（RandomForest）的心脏病人预测分类。本文涉及到的知识点主要包含：
请点击上面“思影科技”四个字，选择关注我们，思影科技专注于脑影像数据处理，涵盖（fMRI,结构像,DTI,ASL,QSM,MRS,EEG/ERP,FNIRS,眼动）等，希望专业的内容可以给关注者带来帮助，欢迎留言讨论及转发推荐，也欢迎了解思影科技的课程及数据处理服务，可添加微信号siyingyxf或18983979082咨询(电话18580429226，杨晓飞）。(文末点击浏览）
在成熟的大脑中，大脑连接的结构和功能指纹可以用来识别个体的独特性。然而，使某一特定大脑区别于其他大脑的特征是否在出生时就已经存在仍不得而知。本研究利用发育中的人类连接组计划(Human Connectome Project, dHCP)的神经影像数据，对早产儿围产期进行两次扫描，以评估发育中的脑指纹。我们发现，62%的参与者可以通过后来的结构连接组与从较早时间点获得的初始连接矩阵的一致性来识别。相反，同一被试在不同时间点的功能连接体之间的相似性较低。只有10%的参与者在功能连接体中表现出更大的自相似性。这些结果表明，结构连接在生命早期更稳定，可以代表个体的潜在连接组指纹:当新生儿必须快速获得新技能以适应新环境时，一个相对稳定的结构连接组似乎支持功能连接组的变化。
本文主要探讨了时间序列分析在监控告警系统中的应用，通过处理原始数据、进行平稳性检验、模型选择和预测等步骤，最终使用ARMA模型进行预测，取得较好的效果。预测准确度达到93.3097%。同时，文章也指出了时间序列分析在预测过程中可能遇到的问题，如过拟合等，并建议在进行时间序列分析时采用更多的数据探索方法，如信息量法则等，以提高预测的准确性。
模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更能够帮助更好的理解模型本身和提升模型服务质量。本文对机器学习模型可解释性相关资料汇总survey。
模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更能够帮助更好的理解模型本身和提升模型服务质量。本文对机器学习模型可解释性相关资料汇总survey。 综述 机器学习业务应用以输出决策判断为目标。可解释性是指人类能够理解决策原因的程度。机器学习模型的可解释性越高，人们就越容易理解为什么做出某些决定或预测。模型可解释性指对模型内部机制的理解以及对模型结果的理解。其重要性体现在：建模阶段，辅助开
皮尔森相关系数也叫皮尔森积差相关系数，用来反映两个变量之间相似程度的统计量。或者说用来表示两个向量的相似度。
https://www.cnblogs.com/feffery/p/12179647.html
本文基于 CPV 模型, 对房地产信贷风险进行了度量与预测。我们被客户要求撰写关于CPV模型的研究报告。结果表明, 该模型在度量和预测房地产信贷违约率方面具有较好的效果。
羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 一段机器狗的视频火了，但这次网友的反应不太一样。 不同于以往一片夸赞之声，有网友直呼：stooooooooppppp！我们不需要这样的机器狗！ 在这段视频里，背着冲锋枪的机器狗向目标不断发射子弹，背景中还出现了一辆装甲车。 在Twitter上发布该视频的网友这样写道： 那些嘲笑过担忧“有趣的跳舞机器狗”是杞人忧天的人，应该在今年剩下的时间里每天看一遍这个视频。 你可能会有这样的疑问：这段可怕的视频究竟来自哪里？ 背上冲锋枪的机器狗 在Twitter
本文基于 CPV 模型, 对房地产信贷风险进行了度量与预测。我们被客户要求撰写关于CPV模型的研究报告
部分依赖图简称PDP图，能够展现出一个或两个特征变量对模型预测结果影响的函数关系：近似线性关系、单调关系或者更复杂的关系。
在数据分析任务中，从原始数据读入，到最后分析结果出炉，中间绝大部分时间都是在对数据进行一步又一步的加工规整，以流水线（pipeline）的方式完成此过程更有利于梳理分析脉络，也更有利于查错改正。pdpipe作为专门针对pandas进行流水线化改造的模块，为熟悉pandas的数据分析人员书写优雅易读的代码提供一种简洁的思路，本文就将针对pdpipe的用法进行介绍。
他们利用了ppcor这个包计算环境因子之间的相关性。此文即是ppcor的学习笔记。
本文利用信息论中的信息瓶颈（这边可以理解为互信息，文中用到的都是互信息）理论结合因果推断中的因果图，来对推荐系统进行纠偏。纠偏的背景就不过多介绍了，简而言之就是，反馈和推荐之间关系，以及热门和冷门item对推荐的影响。具体案例可以看前几篇纠偏相关文章。
加工速度是理解认知的重要概念。本研究旨在控制任务特异性，以了解认知加工速度背后的神经机制。对40名被试执行两种方式(听觉和视觉)和两种水平的任务规则(相容和不相容)的注意任务。block设计的功能磁共振成像在任务过程中捕捉到了BOLD信号。参考公开的用于处理速度的任务激活图，定义了13个感兴趣区域。认知速度是从任务反应时间得出的，这产生了六组连接性测量。混合效应LASSO回归显示，有六条重要路径提示了小脑-额叶网络预测认知速度。其中，3例为长程(2例额叶-小脑，1例小脑-额叶)，3例短程(额叶-额叶、小脑-小脑和小脑-丘脑)。长距离的连接可能与认知控制有关，而短距离的连接可能与基于规则的刺激-反应过程有关。揭示的神经网络表明，按照任务规则执行操作，自动性与自上而下努力控制注意力相互作用，解释了认知速度。 1 简述 本研究旨在通过使用一系列简单的视觉和听觉通道的刺激-反应(S-R)映射任务来解决可能的任务相关偏差。这个多任务设计目的是解决上面提到的特定于形态和功能偏向的。箭头任务最初是一种视觉S-R兼容性任务，为了更好地控制所需的感觉运动处理时间，回答涉及到关于所看到或听到的内容的简单反应，箭头任务后来被改编成视觉和听觉形式(图1)。为了减少任务转换效应和交叉试验的不确定性，我们采用了分组设计，而不是与事件相关的设计。此外，我们的目标是解决以前的研究中的方法论缺陷，这些研究利用皮尔逊的相关性和心理生理学相互作用(PPI)来建立基于连接性的模型来预测加工速度。在这项研究中，我们建立了六个连通性指标，包括四个基于多变量的指数，用于进行模型比较。通过将控制任务的反应时与控制感觉运动成分的实验任务的反应时进行回归，构造了一个认知速度变量。功能关联性模型的建立基于混合效应套索回归。据我们所知，本文在该领域首次采用跨通道多任务设计，并比较了6种方法对区域间交互作用辅助处理速度的建模结果。 2 方法 2.1 被试 从当地社区招募了40名年龄在18-28岁的健康年轻人参与研究。他们都有高中或以上学历。最终样本包括35名参与者(21.5±2.1岁，14名女性)，其中5名参与者被排除在分析之外。 2.2 处理速度任务 箭头任务被用来测量加工速度。它包括一个双选择S-R映射任务，具有相容(COM)、不相容(INC)和简单RT控制条件(NEU)(图1)。在COM中，参与者在出现向上箭头时按下“向上”按钮，在出现向下箭头时按下“向下”按钮(图1)。在INC中，参与者按下“向上”键表示向下箭头，按“向下”键表示向上箭头。实验涉及参与者在观看一条没有箭头的垂直线时按下任何按钮。因为在这些条件下出现的刺激是视觉图像，所以它们被称为COMVIS、INC-VIS和NEU-VIS。相同条件的听觉版本是COM-AUD、INC-AUD和NEU-AUD，向上箭头、向下箭头和垂直线分别被高音、低音和中音代替。
目前很多机器学习模型可以做出非常好的预测，但是它们并不能很好地解释他们是如何进行预测的，很多数据科学家都很难知晓为什么该算法会得到这样的预测结果。这是非常致命的，因为如果我们无法知道某个算法是如何进行预测，那么我们将很难将其前一道其它的问题中，很难进行算法的debug。
最近我们被客户要求撰写关于GARCH-EVT-Copula的研究报告，包括一些图形和统计输出。
本文是对开源监控工具Ganglia使用的RRD数据库的一个简单介绍，此外还有一些有关RRDTool的基本操作。
冲动性和感觉寻求被认为是冒险性行为中最重要的人格特质，人格特质和脑功能连接之间联系是否取决于个体的冒险倾向呢？本研究利用DOSPERT-30问卷和机动车模拟驾驶来测量冒险倾向，将被试分为有、无冒险倾向两组，利用EEG测量结果分析在有无冒险倾向两组之间7个主要的脑功能连接网络之间的关系与冲动性和感觉寻求人格之间的联系是否在存在差异。在冒险倾向组中，缺乏预先计划时腹侧注意和边缘网络之间的耦合增强；同时，情感追求增强额顶叶神经网络和默认模式网络（DMNs）之间的耦合。最终，缺少持久性对边缘网络的前颞节点（anteriortemporal nodes）的耦合有积极作用，但是对某些额顶叶神经网络和DMNs之间的额极耦合有消极作用。总之，冒险性倾向对冲动性人格相关的脑功能活动有调节作用，使得脑神经网络处于更倾向即刻、自动、或者不适当的反应的状态。
近日，来自伦敦大学学院认知神经系的Takamitsu Watanabe和Geraint Rees在nature communications期刊上发表了一项研究，利用静息态fMRI数据探析了自闭症的大脑动力学特征。该研究发现与正常人相比，高危自闭症的成年人在一些神经连接中会有一些不稳定的中间状态，这些特殊的状态能够预测自闭症的严重程度。另外，为了比较IQ是否和这些变化有关，研究利用自闭症患者的IQ来预测大脑动力学系统的稳定性。最后发现这些大脑动力学系统的行为与大脑网络的隔离有关。这些发现表明，自闭症患者大脑
对VaR计算方法的改进，以更好的度量开放式基金的风险。本文把基金所持股票看成是一个投资组合，引入Copula来描述多只股票间的非线性相关性，构建多元GARCH-EVT-Copula模型来度量开放式基金的风险，并与其他VaR估计方法的预测结果进行比较。其次是将VaR引入到基金业绩评价中，构造RAROC指标来评价基金业绩，检验该评价指标的可行性。
相关系数 15.1 相关系数的概念 著名统计学家卡尔·皮尔逊设计了统计指标——相关系数(Correlation coefficient)。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。 依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性相关关系的统计指标称为相关系数（相关系数的平方称为判定系数）；将反映两变量间曲线相关关系的统计指标称为非线性相关
模型可解释性汇总
想象你是一个数据科学家，你想要在业余时间根据你朋友在facebook和twitter上发布的信息，来预估你朋友假期要去度假的地方。如果你预测对了，你朋友一定叹为观止，觉得你是锦鲤附身。如果你猜错了也没啥，只不过有点影响身为数据科学家的口碑而已。但如果你和其他人打了赌，就赌这个朋友暑假会去哪里，这时候预测错误的成本就有点高了。也就是说，当模型对错本身不造成很大影响的时候，解释性并不算是很重要的要素。不过当预测模型用于金融、公共事务等重大影响决策时，解释性就显得尤为重要了。
来源：https://coolshell.cn/articles/19612.html
2019年7月20日，是有纪念意义的一天，这天不是因为广大网民帮周杰伦在新浪微博上的超话刷到第一，而是阿波罗登月的50周年的纪念日。早在几年前，在Github上放出了当成Apollo飞船使用的源代码（当然是汇编的），但完全不明白为什么这几天会有一些中国的小朋友到这个github的issue里用灌水……，人类历史上这么伟大的一件事，为什么不借这个机会学习一下呢？下面是一些阿波罗登月与程序员相关的小故事，顺着这些东西，你可以把你的周末和精力用得更有价值。
随着数据规模增长，越来越多的用户选择将他们的文件外包存储在第三方的云服务器上。然而，数据的外包会带来一系列的安全问题，例如云服务器的硬件故障、黑客入侵篡改等会导致用户数据的损坏。更严重的是，云服务器为了保护自己的声誉可能掩盖数据受损的事实，甚至会伪造用户的数据。云数据完整性审计技术是一种关键的数据安全技术，用来解决上述的问题。本系列文章聚焦在云数据完整性审计技术，分别介绍1）云数据完整性审计技术的背景及密码学技术；2）保证低熵值安全的，并且实现文件和认证器去重功能的云数据完整性审计方案。3）基于关键词且实现敏感信息隐藏的云数据完整性审计方案。本文作为第一篇，将从相关背景、密码学知识、协议流程以及研究现状进行介绍，使得读者对云数据完整性审计技术有一个入门级的基本了解。
相关系数可以用来描述定量变量之间的关系。相关系数的符号（±）表明关系的方向（正相关或负相关），其值的大小表示关系的强弱程度（完全不相关时为0，完全相关时为1）。除了基础安装以外，我们还将使用psych和ggm包。
我们在心理学网络论文中看到的一个问题是，作者有时会对其数据的可视化进行过度解释。这尤其涉及到图形的布局和节点的位置，例如：网络中的节点是否聚集在某些社区 （ 点击文末“阅读原文”获取完整代码数据******** ）。
设\(λ=λ_i\)是矩阵\(A\)的一个特征值，则有方程\((A-λ_iv)x=0\),可求得非零解\(x=p_i\)即为\(λ_i\)对应的特征向量。(若\(λ_i\)为实数，则\(p_i\)可取实向量；\(λ_i\)为复数，则\(p_i\)可取复向量)
版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/50651464
自 2007 年发布以来，Scikit-learn 已经成为 Python 领域非常重要的机器学习库，支持分类、回归、降维和聚类四大机器学习算法，还包括了特征提取、数据处理和模型评估三大模块。
X连锁肌张力障碍-帕金森综合症（X-linked dystonia-parkinsonism，XDP）是一种神经退行性运动障碍疾病，XDP以成人肌张力障碍合并帕金森病为特征。过往影像学和病理学研究表明，XDP的肌张力障碍期的病理特征表现为纹状体中的纹状小体萎缩。纹状小体占整个纹状体体积的10 - 15%，从嘴侧到尾侧由多到少呈梯度分布，即靠近嘴侧到纹状体纹状小体比较丰富。近期定量MRI研究提示，白质和苍白球可能也与XDP的肌张力障碍有关。但仍旧对纹状体不同解剖位置的具体萎缩情况缺乏细致的认识。本研究发表在BRAIN杂志。
一、背景 老化是一个复杂而且动态的过程，伴随着不断累积的年龄效应，影响了人类的多个器官。这些器官的衰退引起了多种行为和临床的表现，比如心血管疾病，认知衰退等。虽然这些临床症状在老年时期才会显现，但是相应的变化在老年之前的很多年前就会开始发挥作用。越来越多的研究者开始寻找能够提前预示着老化的一些生物标记物，来防范于未然。 老化的一个显著的变化是大脑组织的改变，这些改变已用MRI研究发现。此前，很多研究已经发现从大脑灰质体积，白质完整性，皮层厚度等很多方面发与于老化有关系。并且，这些正常的衰老变化在神经精神疾病和神经退行性疾病中会发生改变。进而提出了大脑加速化衰老的概念，并且假设这种衰老化的快慢能够用来区分正常人和患者。借助机器学习，研究人员不仅发现人脑的灰质体积和白质完整性能够预测人的生物学年龄，并且发现阿尔兹海默症，轻度认知障碍，精神分裂症等患者存在脑加速衰老的表现。 近年来的研究发现，大脑不同区域之间共同作用形成了不同的大脑子网络。其中，结构协变网络就是其中一种研究大脑大尺度协作关系的研究手段。很多研究指出结构协变网络能够反映跨脑区的遗传发育和同步成熟。在此基础之上，很多研究也发现利用结构协变网络研究神经退行性疾病和神经精神病网络级上异常的可能性。近期，发表在《Cerebral Cortex》杂志上的一篇研究论文结合结构协变网络和机器学习来构建模型预测脑年龄，并且该模型能够检测出相关疾病的脑加速化衰老现象。 二、材料方法 1.被试 研究包含了中老年精神疾病和神经退行性疾病患者，年龄范围在50-90岁。正常对照的总人数是909人，年龄范围在50-89岁，用来构建模型预测脑年龄。 2.数据采集 采集了所有被试的T1加权图像，并且计算了每个被试的灰质体积图。 3.分析流程 图1表示了文章的具体分析流程。首先计算完每个被试的灰质体积图。将所有的被试串联在一起，用ICA的方法划分团块。这里由于ICA需要事先确定主成分个数，所以设定一个区间。在训练集内，用空间回归的方法计算每个网络整合系数（beta系数）。这些网络的整合系数被进一步当成特征来预测大脑的年龄。在确定了最优的成分数之后，训练集得到的ICA的成分图被当作先验模板来计算测试集和临床疾病数据的网络整合系数。然后，将测试集和临床疾病数据的网络整合系数送入训练好的模型进行预测。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
