时间序列数据是随着时间的推移反复捕获的变量值，随着时间的推移可以产生一系列的按时间顺序索引的数据点。在时间序列中，数据具有自然的时间顺序，即一个变量在特定时间的值依赖于过去的值。
来源：DeepHub IMBA本文约900字，建议阅读5分钟在本文中，我们将深入讨论tsfresh包的使用。 时间序列数据是随着时间的推移反复捕获的变量值，随着时间的推移可以产生一系列的按时间顺序索引的数据点。在时间序列中，数据具有自然的时间顺序，即一个变量在特定时间的值依赖于过去的值。 传统的机器学习算法不能捕捉时间序列数据的时间顺序。数据科学家需要执行相关的特征工程，将数据的重要特征捕获到几个指标中。生成大量的时间序列特征并从中提取相关特征是一项耗时且繁琐的工作。 python的tsfresh包可以为
当前人工智能领域最热门的技术，无疑是大数据+深度学习。实验环境下，深度学习的性能在语音识别、图象分类和检索、人脸识别、文字识别以及智能交通等领域，都大幅超过了传统的方法。但从商业化的角度来看，深度学习的应用才刚刚开始，挑战依然巨大。深度学习如何才能有用、好用，依然困扰许多企业和开发者。在9月24日下午的2015高性能计算用户大会 （HPCUF2015）深度学习分论坛上，来自 工业界和学术界的六位专家分享了深度学习技术在智能语音、搜索、广告、视觉分析、流量识别等不同领域的应用，以及为如何构建高性能计算平台来支
题图摄于香港 由于微信公众号更改显示规则，请点击上面“亨利笔记”，再点击右上角”..."，选择“设为星标”，以免错过更新。 （转发FATE开源社区的文章） 很荣幸为大家带来一篇亚信科技的精彩投稿。随着联邦学习技术的迭代，逐步在多个场景落地，其中以营销推广、金融风控为典型代表。该文章将通过实践案例，与大家分享纵向联邦学习技术在汽车增换购业务中的应用与实践。文章包括方案设计、案例实践过程、以及效果总结等非常细致的内容。 文章由亚信科技（中国）有限公司AISWare AI² FL产品经理吴珺撰写，感谢亚信科技及
如果你觉得好的话，不妨分享到朋友圈。 1.机器学习中特征的理解 def：特征选择和降维 特征选择：原有特征选择出子集，不改变原来的特征空间 降维：将原有的特征重组成为包含信息更多的特征，改变了原有的特征空间 降维的主要方法 Principal Component Analysis(主成分分析) Singular Value Decomposition(奇异值分解) Sammon’s Mapping(Sammon映射) 特征选择的方法 Filter方法 Chi-squared test(卡方检验) info
背景 随着美团交易规模的逐步增大，积累下来的业务数据和交易数据越来越多，这些数据是美团做为一个团购平台最宝贵的财富。通过对这些数据的分析和挖掘，不仅能给美团业务发展方向提供决策支持，也为业务的迭代指明了方向。目前在美团的团购系统中大量地应用到了机器学习和数据挖掘技术，例如个性化推荐、筛选排序、搜索排序、用户建模等等，为公司创造了巨大的价值。 本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖掘方法。主要内容已经在内部公开课"机器学习InAction系列"讲过，本博客的内容主要是讲座内容的提炼和
随着人工智能和大数据等技术不断渗透，依靠金融科技主动收集、分析、整理各类金融数据，为细分人群提供更为精准的风控服务，成为解决消费金融风控问题的有效途径。简言之，如何区别违约风险用户，成为金融领域提供更为精准的风控服务的关键。
本文结构 1. 概述 机器学习被广泛定义为“利用经验来改善计算机系统的自身性能”。事实上，“经验”在计算机中主要是以数据的形式存在的，因此数据是机器学习的前提和基础。数据来源多种多样，它可以是结构数据，如数值型、分类型，也可以是非结构数据，如文本、语音、图片、视频。对于所有机器学习模型，这些原始数据必须以特征的形式加入到机器学习模型当中，并进行一定的提取和筛选工作。所谓特征提取，就是逐条将原始数据转化为特征向量的形式，此过程涉及数据特征的量化表示；而特征筛选是在已提取特征的基础上，进一步对高维度和
机器学习在各个领域都有广泛的应用，特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本文介绍了机器学习的相关概念、常见的算法分类和决策树模型及应用。通过一个决策树案例，着重从特征选择、剪枝等方面描述决策树的构建，讨论并研究决策树模型评估准则。最后基于 R 语言和 SPSS 这两个工具，分别设计与实现了决策树模型的应用实例。 机器学习概念 机器学习 (Machine Learning) 是近 20 多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度
作者简介 陈无忌，就读于中国科学技术大学计算机学院，15 级硕士研究生。研究方向机器学习、大数据、智能交通等。在校期间多次参加大数据竞赛，在携程云海平台比赛中，两次和队伍一起获得第一名。 客户流失率是考量是业务成绩的一个非常关键的指标。根据历史数据建立模型，使用机器学习的方法预测客户流失概率，可以找出用户流失的因素，从而完善产品，减少客户流失概率。 那么，对于这样的一个问题，我们需要做哪些数据分析？特征又是如何提取？如何选择合适的机器学习模型？如何调整模型的参数？同时对于类似的这些问题，又有什么常见的套路
导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 背景 在大数据生态里，不同计算引擎适合不同的计算场景，Spark适合
一、小数据来自哪里？ 科技公司的数据科学、关联性分析以及机器学习等方面的活动大多围绕着”大数据”，这些大型数据集包含文档、 用户、 文件、 查询、 歌曲、 图片等信息，规模数以千计，数十万、 数百万、 甚至数十亿。过去十年里，处理这类型数据集的基础设施、 工具和算法发展得非常迅速，并且得到了不断改善。大多数数据科学家和机器学习从业人员就是在这样的情况下积累了经验，逐渐习惯于那些用着顺手的算法，而且在那些常见的需要权衡的问题上面拥有良好的直觉（经常需要权衡的问题包括：偏差和方差，灵活性和稳定性，手工特性提
有奖转发活动 回复“抽奖”参与《2015年数据分析/数据挖掘工具大调查》有奖活动。 【编者的话】毫无疑问机器学习是大数据分析不可或缺的一部分，在使用机器学习技术的时候工程师除了要选择合适的算法之外还需要选择合适的样本数据。那么工程师到底应该选择哪些样本数据、选择多少样本数据才最合适呢？来自于Google的软件工程师Malay Haldar最近发表了一篇题为《数据模型需要多少训练数据》的文章对此进行了介绍。 训练数据的质量和数量通常是决定一个模型性能的最关键因素。一旦训练数据准备好，其他的事情就顺理成章了。但
在最近的一次报告中，Ben Hamner向我们介绍了他和他的同事在Kaggle比赛中看到的一些机器学习项目的常见误区。 这个报告于2014年2月在Strate举办，名为《机器学习小精灵》。 在这篇文章
本文以Bremen大学机器学习课程的教程为基础的。总结了使用机器学习解决新问题的一些建议。包括： 可视化数据的方法 选择一个适合当前问题的机器学习方法 鉴别和解决过拟合和欠拟合问题 处理大数据库问题（
1工业感知和网络控制 随着物联网技术的发展，工业感知技术也不断进行进步，物联网包含感知层、网络层、应用层，所谓工业感知和网络控制，就是在工业生产过程中通过各种传感器对各个工业环节进行监测，获取数据，再通过局域网络将数据传输到应用端进行处理分析，最后对生产环节的优劣进行判断，最后做出决策，将动作施加在这些过程中，形成闭环系统对整个过程进行控制。控制网络（control network）是一个能够监控、传感和控制或能够控制环境为目的的网络节点的集合，这些生产设备终端就是一个具有控制功能的节点。数以万计的控制网
数据猿导读 本文基于复杂网络技术深入挖掘担保圈风险，并运用分布式机器学习算法进行建模，预测企业贷后违约概率，模型成功对客户贷后违约风险进行自动化预警，提升了恒丰银行风险控制能力，减少了风险运营成本。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协办的《「数据猿·
提笔写下浅谈影像组学几个字，我略微有点忐忑以及不安，史诗般的宏大题目，怕自己HOLD不住，但在这个满世界人工智能的时代，不做点严肃文学科普工作，不是我的风格，毕竟，我下楼吃碗面，老板都跟我说，根据他潜心研究搭建的“基于环境、气候、人群活动等指标的无监督多参数自我学习本店客流量预测模型”显示的结果，我今天会成为他第123个客户，我略带深沉的问他“那你的模型预测准确度有多少？”，老板谦虚的说道“我的模型一直在自我进化，目前大概徘徊在50.9%”，我说兄弟，是时代埋没了你，你应该去BAT做高级算法工程师或者去买彩票，面馆老板虽然嘴上没说，但我知道他心里一定一阵窃喜，因为今天他给我的牛肉面里多放了半块牛肉。
一、神经网络不宜超过三层 这是最有名错误判断，现在的教科书几乎已经不再有这样的结论，但如果看15年、20年前的机器学习教科书，会有一个很有趣的结论：神经网络不能超过三层。这和我们现在说的深度学习是矛盾
这是最有名错误判断，现在的教科书几乎已经不再有这样的结论，但如果看15年、20年前的机器学习教科书，会有一个很有趣的结论：神经网络不能超过三层。这和我们现在说的深度学习是矛盾的，深度学习现在大家比拼的不是神经网络能不能超过三层，而是能不能做出一百层、一千层或者更多。
什么是文本挖掘 文本挖掘是一门交叉性学科，涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大量的文档中发现隐含知识和模式的一种方法和工具，它从数据挖掘发展而来，但与传统的数据挖掘又有许多不同。文本挖掘的对象是海量、异构、分布的文档(web)；文档内容是人类所使用的自然语言，缺乏计算机可理解的语义。 传统数据挖掘所处理的数据是结构化的，而文档(web)都是半结构或无结构的。所以，文本挖掘面临的首要问题是如何在计算机中合理地表示文本，
数据猿导读 从发展趋势来看，后Hadoop时代又回到了解决大数据的4个V上。另外，分布式计算已经被证明比传统技术更加高效、更具有性价比的方案，逐渐成为了主流的计算方式。 作者 | 孙元浩 本文长度为2
在机器学习中，几乎无人不知无人不晓L1正则与L2正则，L1正则与L2正则都有参数控制的作用，对模型起到约束的作用，防止过拟合。但是L1正则与L2正则也有区别，L1正则更容易产生稀疏解，使得某些参数等于0，而L2正则却没有这样的优势，只能使得参数趋近于0。利用这样的优势可以使得L1具有特征选择的作用，若某些特征的系数为0表示该维特征对于模型没什么作用，故此可以丢弃。
降维是一个去掉冗余的不重要的变量，而只留下主要的可以保持信息的变量的过程。通常通过两种途径来实现:
随机森林算法的思想就是通过集成学习和随机的方式将多棵树集成的一种算法，通过多棵树对数据集进行学习训练最后投票选举出最佳的一个最终的输出。这里每一棵树是一颗决策树，也叫作一个分类器。
特征选择是实用机器学习的重要一步，一般数据集都带有太多的特征用于模型构建，如何找出有用特征是值得关注的内容。 1. Feature selection: All-relevant selection with the Boruta package 特征选择两种方法用于分析： （1）最少最优特征选择（minimal-optimal feature selection)识别少量特征集合（理想状况最少）给出尽可能优的分类结果； （2）所有相关特征选择（all-relevant feature selection
当前，信息化建设的第三波浪潮正扑面而来，信息化正在开启以数 据的深度挖掘和融合应用为主要特征的智能化阶段(信息化 3.0)。随着互 联网向物联网(含工业互联网)延伸而覆盖物理世界，“人机物”三元融 合的发展态势已然成型，除了人类在使用信息系统的过程中产生数据以 外，各种传感器、智能设备也在源源不断地产生数据，并逐渐成为数据 最重要的来源。
数据挖掘.jpg 从上面的数据挖掘场景可知，当数据预处理完成后，我们需要选择有意义的特征，输入机器学习的算法模型进行训练。通常来说，从两个方面考虑来选择特征： 特征是否发散：如果一个特征不发散，例如方
感谢作者袁峻峰的投稿，投稿邮箱 tg@bigdatadigest.cn 本文讨论用逻辑回归模型预测在金融市场情景下客户对金融产品的购买概率，以股票购买持仓概率作为研究对象。并探讨了TB级百万特征金融数
本文讨论用逻辑回归模型预测在金融市场情景下客户对金融产品的购买概率，以股票购买持仓概率作为研究对象。并探讨了TB级百万特征金融数据处理方法。
一、大数据 1、大数据时代 随着智能手机的普及，网民参与互联网产品和使用各种手机应用的程度越来越深，用户的行为、 位置、 甚至身体生理等每一点变化都成为了可被记录和分析的数据，数据量呈现爆炸式增长。
在科学研究中，从方法论上来讲，都应先见森林，再见树木。当前，人工智能科技迅猛发展，万木争荣，更应系统梳理脉络。为此，我们特别精选国内外优秀的综述论文，开辟“综述”专栏，敬请关注。
数据预处理的方法主要包括去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析等，这篇文章将会全面地总结数据预处理的基本方法。
视频分级介绍 视频分析是计算机视觉领域中的一项重要研究内容。它借助计算机和视频采集设备，在无人监督的情况下，自动完成人类视觉的部分功能。对人类视觉皮层机理的研究无疑对视频分析有着重要的借鉴和指导意义。在这方面，根据人类大脑研究发展出来的深度学习具备了独特的优势。 ---- 视觉处理的层级结构 神经科学领域的研究表明，具有认知能力的大脑皮层不是直接对传感器信号进行处理，而是通过复杂的分布式层级结构对信息进行传播，完成了对信号的表达之后再进行处理。层级模型是视觉研究中最经典的基于神经科学研究建立的视觉计算模型
互联网金融，特别是P2P信贷在过去几年可以说经历了大起大落的过山车。在经历了2016、2017年的高速发展后，随着整体经济环境遇冷、政策层面监管趋严，行业已进入洗牌周期。特别是随着18年7月P2P暴雷潮的出现，更是为行业前途蒙上一层迷雾。
机器学习引领智慧金融，变革万亿规模实时支付风控模式
Playing Atari with Deep Reinforcement Learning论文解读
本文介绍了AI在Web安全中的具体应用，包括恶意软件检测、数据泄露防护、业务安全等领域。通过机器学习、深度学习等技术，AI可以自动地识别、分类、预测和响应安全威胁，从而实现更高效、更智能的安全防护。
摘要： 机器学习在各个领域都有广泛的应用，特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本文介绍了机器学习的相关概念、常见的算法分类和决策树模型及应用。通过一个决策树案例，着重从特征选择、剪枝等方面描述决策树的构建，讨论并研究决策树模型评估准则。最后基于 R 语言和 SPSS Modeler这两个工具，分别设计与实现了决策树模型的应用实例。1.机器学习 机器学习在各个领域都有广泛的应用，特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本
摘要： 机器学习在各个领域都有广泛的应用，特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本文介绍了机器学习的相关概念、常见的算法分类和决策树模型及应用。通过一个决策树案例，着重从特征选择、剪枝等方面描述决策树的构建，讨论并研究决策树模型评估准则。最后基于 R 语言和 SPSS Modeler这两个工具，分别设计与实现了决策树模型的应用实例。1.机器学习
机器学习（ML）已经加速了许多科学领域的发现，是一些新产品背后的驱动力。最近，不断增长的样本量使得ML方法能够在更大的组学研究中得到应用。本章提供了一个如何使用ML对组学数据集进行典型分析的指南。同时，本章展示了一个如何根据转录组学数据（来自LINCS L1000数据集）建立一个预测药物诱发肝损伤模型的案例，涵盖了从数据探索和模型训练（包括超参数搜索）到最终模型的验证和分析的最佳实践和陷阱。重现结果的代码可在https://github.com/Evotec-Bioinformatics/ml-from-omics 获得。
人工智能头条早先发布的文章《用 Python 构建 NLP Pipeline，从思路到具体代码，这篇文章一次性都讲到了》，是基于英文来举例的。
作者为Google 软件工程师，美国西北大学电子信息工程博士，擅长大规模分布式系统，编译器和数据库。 从谷歌的机器学习代码中得知，目前需要一万亿个训练样本 训练数据的特性和数量是决定一个模型性能好
一直以来有人问：“ 数据分析 VS 数据挖掘 VS 数据科学家，它们到底有什么不同？入行大数据的话该怎么选？” 估计 90% 程序员，包括一些数据相关工作的⼩伙伴，都给不出准确回答。最近整理了这张对比长图，来回答这个问题！PS. 被问次数太多了，实属无奈
在机器学习研究中，特征选择是十分重要的一个环节。很多脑影像机器学习研究者更多追求的是所选特征的预测精度，而本文的作者更关注所选特征的可重复性。作者提出的基于图论的FS-Select算法，在挑选出具有可重复性特征的同时，兼顾了其预测准确性。该研究由土耳其伊斯坦布尔科技大学的Nicolas Georges 等人发表在最近的Pattern Recognition杂志上。
百科是这样定义的：精准医学（Precision Medicine）是以个体化医疗为基础、随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。
内容来源：2017年11月4日，Pivotal Greenplum Madlib研发工程师梅靖怡在“Greenplum和机器 学习客户研讨会”进行《Machine Learning on Greenplum—MADlib简介与应用实例》演讲分享。IT 大咖说作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：4809 |6分钟阅读 摘要 Apache MADlib是Pivotal与UCBerkeley合作的一个开源机器学习库，提供了精确的数据并行实现、统计和机器学习方法对结构化和非结构化数据进行
5.3 Boosting【**】 1.boosting集成原理 随着学习的积累从弱到强 2.实现过程 1.初始化训练数据权重，初始权重是相等的 2.通过这个学习器，计算错误率 3.计算这个学习期的投票权重 4.对每个样本进行重新赋权 5.重复前面1-4 6.对构建后的最后的学习器进加权投票 3.bagging集成与boosting集成的区别： 数据方面：
被玩儿坏的概念——微信朋友圈广告真的用上了大数据? 微信朋友圈广告的事儿过去几天了，眼看各路大神一波一波的评述事件，在揣摩数篇大作后，有两个问题值得探讨一下。 第一个疑问：拥有了很多的数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
