以满足科学模型开发的主要标志 - 严谨性，可测试性，可复制性和精确性以及可信度 - 考虑模型验证以及如何处理不平衡数据非常重要。 本文概述了可用于满足这些标志的高级验证框架，并简要介绍了处理不平衡数据时常用的方法。
交叉验证（也称为“过采样”技术）是数据科学项目的基本要素。它是一种重采样过程，用于评估机器学习模型并访问该模型对独立测试数据集的性能。
作者：布奇·昆托（Butch Quinto） 来源：大数据DT（ID：hzdashuju） 有监督学习 有监督学习是利用训练数据集进行预测的机器学习任务。有监督学习可以分为分类和回归。回归用于预测“价格”“温度”或“距离”等连续值，而分类用于预测“是”或“否”、“垃圾邮件”或“非垃圾邮件”、“恶性”或“良性”等类别。 分类包含三种类型的分类任务：二元分类、多类别分类和多标签分类。回归中包含线性回归和生存回归。 无监督学习 无监督学习是一种机器学习任务，它在不需要标记响应的情况下发现数据集中隐藏
摘要：本文介绍了在入侵检测、实时出价等数据集非常不平衡的领域应用的数据处理技术。 关键字：平衡数据，数据准备，数据科学 原文：7 Techniques to Handle Imbalanced Data http://www.kdnuggets.com/2017/06/7-techniques-handle-imbalanced-data.html 作者：Ye Wu & Rick Radewagen, IE Business School. 译者：王安阳 介绍 在例如银行欺诈检测、市场实时出价、网络
尽管大模型非常强大， 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比，解释现实中的物理现象，未必要用到量子力学。有些相对简单的问题，或许一个统计分布就足够了。对机器学习而言， 也不用言必深度学习与神经网络，关键在于明确问题的边界。
前面无论是用全部变量还是筛选出的特征变量、无论如何十折交叉验证调参，获得的模型应用于测试集时虽然预测准确率能在90%以上，但与不基于任何信息的随机猜测相比，这个模型都是统计不显著的 （这一点可能意义也不大，样本不平衡时看模型整体准确性无意义）。一个原因应该是样本不平衡导致的。DLBCL组的样品数目约为FL组的3倍。不通过建模而只是盲猜结果为DLBCL即可获得75%的正确率。而FL组的预测准确率却很低。
来自Amazon，google，Meta, Microsoft等的面试问题，问题很多所以对问题进行了分类整理，本文包含基础知识和数据分析相关问题
类别不平衡是机器学习中的一个常见问题，尤其是在二元分类领域。当训练数据集的类分布不均时会发生这种情况，从而导致训练模型存在潜在偏差。不平衡分类问题的示例包括欺诈检测、索赔预测、违约预测、客户流失预测、垃圾邮件检测、异常检测和异常值检测。为了提高我们模型的性能并确保其准确性，解决类不平衡问题很重要。
2. 投影思想：找出最能够代表原始数据的投影方法。被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
本文用逻辑回归和lasso算法医学上的疾病的相关因素，帮助客户确定哪种模型可用于某种疾病的相关因素分析。3个模型：Logistic模型、成组Lasso Logistic模型、由组Lasso选出协变量的Logistic模型，有3个易感因素、高血压、2型糖尿病和LDL，得出误差率和变量数目的图。
来源：DeepHub IMBA本文约2700字，建议阅读5分钟本文整理了10个常见的问题。 评估指标是用于评估机器学习模型性能的定量指标。它们提供了一种系统和客观的方法来比较不同的模型并衡量它们在解决特定问题方面的成功程度。通过比较不同模型的结果并评估其性能可以对使用哪些模型、如何改进现有模型以及如何优化给定任务的性能做出正确的决定，所以评估指标在机器学习模型的开发和部署中发挥着至关重要的作用。所以评估指标是面试时经常会被问到的基础问题，本文整理了10个常见的问题。 1、你能在机器学习的背景下解释精度和召
来源：DeepHub IMBA本文约1000字，建议阅读5分钟本文中整理出一些常见的数据拆分策略。 将数据集分解为训练集，可以帮助我们了解模型，这对于模型如何推广到新的看不见数据非常重要。如果模型过度拟合可能无法很好地概括新的看不见的数据。因此也无法做出良好的预测。 拥有适当的验证策略是成功创建良好预测，使用AI模型的业务价值的第一步，本文中就整理出一些常见的数据拆分策略。 简单的训练、测试拆分 将数据集分为训练和验证2个部分，并以80％的训练和20％的验证。可以使用Scikit的随机采样来执行此操作。
将数据集分解为训练集，可以帮助我们了解模型，这对于模型如何推广到新的看不见数据非常重要。如果模型过度拟合可能无法很好地概括新的看不见的数据。因此也无法做出良好的预测。
在开发分类机器学习模型时遇到的挑战之一是类别不平衡。大多数用于分类的机器学习算法都是在假设平衡类的情况下开发的，然而，在现实生活中，拥有适当平衡的数据并不常见。因此，人们提出了各种方案来解决这个问题，以及一些应用这些解决方案的工具或者类库。例如，imbalanced-learn 这个python库，它实现了最相关的算法来解决类不平衡的问题。
目前机器学习是最抢手的技能之一。如果你是一名数据科学家，那就需要对机器学习很擅长，而不只是三脚猫的功夫。作为 DataFest 2017 的一部分，Analytics Vidhya 组织了不同的技能测试，从而数据科学家可以就这些关键技能进行自我评估。测试包括机器学习、深度学习、时序问题以及概率。这篇文章将给出机器学习测试问题的解答。你可以通过链接获得其他测试问题及解答。
选自 Analytics Vidhya 作者：ANKIT GUPTA 机器之心编译 参与：机器之心编辑部 目前机器学习是最抢手的技能之一。如果你是一名数据科学家，那就需要对机器学习很擅长，而不只是三脚猫的功夫。作为 DataFest 2017 的一部分，Analytics Vidhya 组织了不同的技能测试，从而数据科学家可以就这些关键技能进行自我评估。测试包括机器学习、深度学习、时序问题以及概率。这篇文章将给出机器学习测试问题的解答。你可以通过链接获得其他测试问题及解答。 深度学习：https://ww
本文主要针对流行度偏差问题而提出的相关方法，大多数现有工作将这个问题置于静态设置中，仅针对带有记录数据的单轮推荐分析偏差。这些工作没有考虑到现实世界推荐过程的动态特性，留下了几个重要的研究问题没有得到解答：
今天为大家介绍的是来自Vanessa Smer-Barreto，Juan Carlos Acosta和Diego A. Oyarzún的一篇机器学习药物应用的论文。细胞衰老是与衰老和多种疾病过程有关的反应，包括癌症、2型糖尿病等。尽管对靶向消除老化细胞的兴趣不断增加，但由于缺乏良好表征的分子靶点，我们目前仅知道少数几种抗衰老药物。在这里，作者报告了使用机器学习算法在仅使用已发表的数据进行训练的情况下，发现了三种抗衰老药物。作者通过计算筛选了各种化学库，并在多种衰老模式下验证了银杏素、北风茶素和夹竹桃甙在人类细胞系中的抗衰老作用。
在这篇文章中，我们将学习10个最重要的模型性能度量，这些度量可用于评估分类模型的模型性能。
一个典型的不平衡分类数据集是乳腺摄影数据集，这个数据集用于从放射扫描中检测乳腺癌（特别是在乳腺摄影中出现明亮的微钙化簇）。研究人员通过扫描图像，对目标进行分割，然后用计算机视觉算法描述分割对象，从而获得了这一数据集。
航班延误是航空公司、旅客和机场管理方面都面临的一个重要问题。航班延误不仅会给旅客带来不便，还会对航空公司和机场的运营产生负面影响。因此，对航班延误的影响因素进行预测分析，对于航空公司、旅客和机场管理方面都具有重要意义。
您可以整天训练有监督的机器学习模型，但是除非您评估其性能，否则您永远无法知道模型是否有用。这个详细的讨论回顾了您必须考虑的各种性能指标，并对它们的含义和工作方式提供了直观的解释。
读完分类与回归算法的评估指标以及排序算法的评估指标之后，你已经知道了机器学习中分类、回归以及排序算法相关的评估指标。在这篇给大家介绍一些机器学习中离线评估模型性能的一些方法。
总第100篇 本篇讲讲机器学习中的交叉验证问题，并利用sklearn实现。 前言 在说交叉验证以前，我们先想一下我们在搭建模型时的关于数据切分的常规做法[直接利用train_test_split把所有的数据集分成两部分:train_data和test_data，先在train_data上进行训练，然后再在test_data上进行测试评估模型效果的好坏]。 因为我们训练模型时，不是直接把数丢进去就好了，而是需要对模型的不断进行调整(比如参数)，使模型在测试集上的表现足够好，但是即使模型在测试集上效果好，不
错误率(error rate)：分类错误的样本占样本总数的比例 精度(accuracy)：1 - 错误率误差(error)：学习器的实际预测输出与样本的真实输出之间的差异 错误率和精度相反 (错误率+精度=1) 训练误差(training error)(即经验误差(empirical error))：学习器在训练集上的误差 泛化误差(generalization error)：在新样本（即测试样本）上的误差
选文/校对 | 姚佳灵 翻译 | 郭姝妤 导读 想去机器学习初创公司做数据科学家？这些问题值得你三思！ 机器学习和数据科学被看作是下一次工业革命的驱动器。这也意味着有许许多多令人激动的初创公司正在起步成长、寻找专业人士和数据科学家。它们可能是未来的特斯拉、谷歌。 对于有职业抱负的你来说，看好一家好的创业公司团队后，如何能够脱颖而出，进入一家靠谱的创业团队呢？ 想得到这样的工作并不容易。首先你要强烈认同那个公司的理念、团队和愿景。同时你可能会遇到一些很难的技术问题。而这些问题则取决于公司的业务。他们是咨询
AI 科技评论按：文章的作者 Georgios Drakos 是一名数据科学家，通过本文作者向我们介绍了交叉验证的基本概念、作用以及如何使用。AI 科技评论根据原文进行了编译。
关键词 随机森林分类器 5折交叉验证 ROC曲线 AUC 可视化 import matplotlib.pylab as plt from scipy import interp from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import roc_curve,auc from sklearn.model_selection import StratifiedKFold import matplotlib.pa
在使用机器学习算法进行建模和训练时，我们有时会遇到一些警告和错误提示。其中之一是"Fit Failed Warning: Estimator fit failed. The score on this train-test partition for these param"。本文将介绍这个警告的原因，并提供一些解决方法。
在机器学习任务中，我们经常会遇到这种困扰：数据不平衡问题。 数据不平衡问题主要存在于有监督机器学习任务中。当遇到不平衡数据时，以总体分类准确率为学习目标的传统分类算法会过多地关注多数类，从而使得少数类样本的分类性能下降。绝大多数常见的机器学习算法对于不平衡数据集都不能很好地工作。 本文介绍几种有效的解决数据不平衡情况下有效训练有监督算法的思路： 1、重新采样训练集 可以使用不同的数据集。有两种方法使不平衡的数据集来建立一个平衡的数据集——欠采样和过采样。 1.1. 欠采样 欠采样是通过减少丰富类的大小来平衡
在机器学习任务中，我们经常会遇到这种困扰：数据不平衡问题。 数据不平衡问题主要存在于有监督机器学习任务中。当遇到不平衡数据时，以总体分类准确率为学习目标的传统分类算法会过多地关注多数类，从而使得少数类样本的分类性能下降。绝大多数常见的机器学习算法对于不平衡数据集都不能很好地工作。 本文介绍几种有效的解决数据不平衡情况下有效训练有监督算法的思路： 1、重新采样训练集 可以使用不同的数据集。有两种方法使不平衡的数据集来建立一个平衡的数据集——欠采样和过采样。 1.1. 欠采样 欠采样是通过减少丰富类的大小来
异柠檬酸脱氢酶（Isocitrate dehydrogenase, IDH）突变状态已成为神经胶质瘤的重要预后标志。当前，可靠的IDH突变诊断需要侵入性外科手术。该研究的目的是使用T2加权（T2w）MR图像开发高度精确的、基于MRI的、基于体素的深度学习IDH分类网络，并将其性能与基于多模态数据的网络进行比较。研究人员从癌症影像档案馆（The Cancer Imaging Archive，TCIA）和癌症基因组图谱（The Cancer Genome Atlas，TCGA）中获得了214位受试者（94位IDH突变，120位IDH野生型）的多参数脑MRI数据和相应的基因组信息。他们开发了两个单独的网络，其中包括一个仅使用T2w图像的网络（T2-net）和一个使用多模态数据（T2w，磁共振成像液体衰减反转恢复序列（FLAIR）和T1 postcontrast）的网络（TS-net），以执行IDH分类任务和同时进行单标签肿瘤分割任务。本文使用3D的Dense-UNets的架构。使用三折交叉验证泛化网络的性能。同时使用Dice系数评估算法分割肿瘤的精度。T2-net在预测IDH突变状态任务上表现出97.14％±0.04的平均交叉验证准确率，灵敏度为0.97±0.03，特异性为0.98±0.01，曲线下面积（AUC）为0.98±0.01。TS-net的平均交叉验证准确性为97.12％±0.09，灵敏度为0.98±0.02，特异性为0.97±0.001，AUC为0.99±0.01。T2-net的肿瘤分割Dice系数的平均得分为0.85±0.009，TS-net的肿瘤分割Dice系数的平均得分为0.89±0.006。
翻译 | ziqi zhang 编辑 | Donna，波波 Luke Oakden-Rayner 是澳大利亚知名学府阿德莱德大学的在读医学博士生、放射线学专家，曾发表过多篇医疗人工智能方面的论文。他在顶级杂志《Nature》上发表的一项研究成果显示，其团队开创性地研发出可以预测人类寿命的仪器。他一直在追逐医疗AI领域的发展，从今年5月份开始，他写了一系列的博客来介绍这一领域的最新研究进展，目前更新到了第三篇，其系列博客的名字就叫《人类医学的终结 - 医学AI研究最前沿》（The End of Human
在机器学习任务中，我们经常会遇到这种困扰：数据不平衡问题。 数据不平衡问题主要存在于有监督机器学习任务中。当遇到不平衡数据时，以总体分类准确率为学习目标的传统分类算法会过多地关注多数类，从而使得少数类样本的分类性能下降。绝大多数常见的机器学习算法对于不平衡数据集都不能很好地工作。 本文介绍几种有效的解决数据不平衡情况下有效训练有监督算法的思路： 1、重新采样训练集 可以使用不同的数据集。有两种方法使不平衡的数据集来建立一个平衡的数据集——欠采样和过采样。 1.1.
一种方法是先对数据集进行探查，然后思考什么模型适用于这个数据集，先尝试一些简单的模型，最后再开发并调优一个稳健的模型。
假设这样一种情况，你对一个样本不均匀的数据集做了一段时间的处理，在这期间你用其中一部分数据做试验，测试了n种机器学习方法，然后喜闻乐见的发现每次的准确率都高达95%。你觉得这95%的准确率真的是实至名归吗？
对于不平衡数据集，AUC值是分类器效果评估的常用标准。但如果在解释时不仔细，它也会有一些误导。以Davis and Goadrich (2006)中的模型为例。如图所示，左侧展示的是两个模型的ROC曲线，右侧展示的是precision-recall曲线 (PRC)。
KNN（K-NearestNeighbor）是机器学习入门级的分类算法，非常简单。它实现将距离近的样本点划为同一类别；KNN中的K指的是近邻个数，也就是最近的K个点 ；根据它距离最近的K个点是什么类别来判断属于哪个类别。
好久没有整理面试题了，最近总有读者翻出之前的面试题，问我会不会继续整理，今天给大家分享一波自己整理的常见机器学习面试题。
AI科技评论按：随着数据科学成为炙手可热的领域，相关的应聘岗位也多了起来。面试者们在准备应聘的过程中，往往会有一个疑问：面试官们会问些什么？我又应该如何回答？ Gregory Piatetsky在KDnuggets上分享了17个紧跟热点的数据科学相关职位可能会接触的问题及答案。从AI未能正确预测2016年美国总统选举结果和第51届超级碗大逆转的经验教训，如何区分偏差和方差，预测变量数目越少越好，甚至到如何增强模型抵抗异常的鲁棒性都一应俱全，本文为第一部分，AI科技评论做了相关编译。 去年，21个必知的数据科
区分预测模型和分类模型是很重要的一个事情。在很多决策应用中，分类模型代表着一个“不成熟”的决定，它组合了预测模型和决策制定，但剥夺了决策者对错误决定带来的损失的控制权 (如随机森林中的服从大多数原则，51棵树预测结果为患病49棵树预测结果为正常与91棵树预测结果为患病``9棵树预测结果为正常返回的结果都是患病)。如果采样标准或损失/收益规 (在预测疾病时，更看重敏感性而非假阳性)则发生改变，分类模型也需要相应的改变。而预测模型是与决策分开的，可用于任何决策制定。
分类模型（分类器）是一种有监督的机器学习模型，其中目标变量是离散的（即类别）。评估一个机器学习模型和建立模型一样重要。我们建立模型的目的是对全新的未见过的数据进行处理，因此，要建立一个鲁棒的模型，就需要对模型进行全面而又深入的评估。当涉及到分类模型时，评估过程变得有些棘手。
①误差(error)：学习器的预测输出与样本的真实输出之间的差异 ②训练误差(training error)或经验误差(empirical error)：在训练集上的误差 ③测试误差(test error)：在测试集上的误差 ④泛化误差(generalization error)：学习器在所有新样本上的误差 ⑤过拟合(overfitting)：学习能力过于强大，把训练样本自身的一些特点当成所有潜在样本都会有的一般性质，导致泛化能力下降 ⑥欠拟合(underfitting)：学习能力太差，对训练样本的一般性质尚未学好 在过拟合问题中，训练误差很小，但测试误差很大；在欠拟合问题中，训练误差和测试误差都比较大。目前，欠拟合问题容易克服，如在决策树中扩展分支，在神经网络中增加训练轮数；但过拟合问题是机器学习面临的关键障碍。 ⑦模型选择：在理想状态下，选择泛化误差最小的学习器。
括号表示概念出现的其他页码, 如有兴趣协同整理，请到issue中认领章节 完整版见我的github：ahangchen 觉得还不错的话可以点个star ^_^ 第一章 绪论 Page2: 标记（lab
对于二分类任务，keras现有的评价指标只有binary_accuracy，即二分类准确率，但是评估模型的性能有时需要一些其他的评价指标，例如精确率，召回率，F1-score等等，因此需要使用keras提供的自定义评价函数功能构建出针对二分类任务的各类评价指标。
模式分类（pattern classification）和机器学习（machine learning）是非常热的话题，几乎在所有的现代应用程序中都得到了应用：例如邮局中的光学字符识别（OCR），电子邮件过滤，超市条形码扫描，等等。 在这篇文章中，我会简要描述一个典型的监督学习任务的主要概念，这些概念将作为将来的文章和实现各种学习算法的基础。 机器学习和模式分类 预测建模是建立一个能够进行预测的模型的通用概念。通常情况下，这样的模型包括一个机器学习算法，以便从训练数据集中学习某些属性做出这些预测。 预测建模可
文：Rick Radewagen 译：李萌 在银行欺诈检测，市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢？ 在这些领域使用的数据通常有不到1％少量但“有趣的”事件，例如欺诈者利用信用卡，用户
原文：http://www.developer.com/mgmt/real-world-machine-learning-model-evaluation-and-optimization.html
全世界有超过1500万癫痫患者对药物没有反应。成功的手术治疗需要完全切除或切断癫痫发作区(SOZ)，即癫痫发作的脑区。然而，由于没有临床验证的SOZ生物标记物存在，手术成功率在30 - 70%之间。我们开发并回顾性验证了一种新的脑电图(EEG)标记物——神经脆弱性——在对91例患者的回顾性分析中，使用注释过的SOZ的神经脆弱性作为预测手术结果的指标。脆弱性预测了47例手术失败中的43例，总体预测准确率为76%，而临床医生的准确率为48%(成功结果)。在失败的结果中，我们确定了未得到治疗的脆弱区域。与作为SOZ标记的20种脑电图特征相比，脆弱性在预测能力和可解释性方面表现更好，这表明神经脆弱性可作为SOZ的脑电图生物标志物。本文发表在Nature neuroscience杂志。(可添加微信号siyingyxf或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布)。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
