一个类别特征，见名思义，就是用来表达一种类别或标签。比如，一个类别特征能够表达世界上的主要城市，一年四季，或者说一个公司的产品(石油、路程、技术)。在真实世界的数据集中，类别值的数量总是无限的。同时这些值一般可以用数值来表示。但是，与其他数值变量不一样的是，类别特征的数值变量无法与其他数值变量进行比较大小。(作为行业类型，石油与旅行无法进行比较)它们被称之为非序的。
一个简单的问题可以作为测试是否应该是一个分类变量的试金石测试：“两个价值有多么不同，或者只是它们不同？”500美元的股票价格比100美元的价格高5倍。 所以股票价格应该用一个连续的数字变量表示。 另一方面，公司的产业（石油，旅游，技术等）应该无法被比较的，也就是类别特征。
根据之前学习到的内容，我们已经基本了解到了要如何构建一个二分类模型。我们都知道模型大体可以分成，回归，二分类和多分类。但推荐系统是属于哪一种场景呢，比如我们常见的广告推荐或者内容推荐，这些场景都是由系统来判断用户的喜好来推送广告或者视频内容，以追求更高的点击率和转化率。这种场景怎么看都不像跟这三种类型的算法有关系。
原文链接 / https://thegradient.pub/a-visual-history-of-interpretation-for-image-recognition/
众所周知，神经网络可用于解决分类问题，例如，它们被用于手写体数字分类，但问题是，如果我们将它们用于回归问题，它会有效果吗？
今天分享的WOE单调性讨论，也是我们在建模过程中选择特征进行模型前需要考虑的一个细节问题。关于WOE，可以参考一下前面的文章回顾一下哈，《风控ML[3] | 风控建模的WOE与IV》。今天的分享主要从下面的顺序来展开。
关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~
数据预处理包含数据探索、数据清洗和特征预处理三部分，《特征工程系列：特征预处理（上）》介绍了无量纲化和特征分桶相关的处理方法，本章将继续介绍特征预处理中的统计变换和类别特征编码相关内容。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【AI科技大本营导读】近年来，深度学习已成为机器学习社区的一个主要研究领域。其中一个主要挑战是这种深层网络模型的结构通常很复杂。对于一般的多类别分类任务，所需的深度网络参数通常随着类别数量的增加而呈现超线性增长。如果类别的数量很大，多类别的分类问题将变得不可行，因为模型所需的计算资源和内存存储将是巨大的。然而，如今的很多应用程序需要解决庞大数量的多分类问题，如词级别的语言模型，电子商务中购物项目的图像识别（如现在淘宝和亚马逊上数百万的购物项），以及 10K 中文手写汉字的识别等。
数据预处理是机器学习生命周期的非常重要的一个部分。特征工程又是数据预处理的一个重要组成， 最常见的特征工程有以下一些方法：
用前面7天的做训练样本（20170506-20170512），用第8天的做测试样本（20170513）
对于许多数据科学家来说，一个典型的工作流程是在Scikit-Learn进行机器学习之前，用Pandas进行探索性的数据分析。新版本的Scikit-Learn将会让这个过程变得更加简单、功能更加丰富、更鲁棒以及更加标准化。
纯机器学习（ML）模型的训练与建立端到端的数据科学解决方案与实际企业需要之间存在巨大差异。 本文总结了我们团队与来自不同行业的数十家企业客户（包括制造业，金融服务业，零售业，娱乐业和医疗保健业等）合作两年后所总结的经验教训。 企业面临的最常见的ML问题是什么？除了训练ML模型之外还有什么？ 如何解决数据收集问题？ 如何扩展到大型数据集？ 为什么特征工程如此重要？ 如何从生产中的模型转变为功能完备的系统？ 我们是否需要数据科学平台？
特征工程是数据科学模型开发的重要组成部分之一。数据科学家把大部分时间花在数据处理和特征工程上，以便训练一个鲁棒模型。数据集由各种类型的特征组成，包括类别、数字、文本、日期时间等。
为了消除不同数据特征之间的量纲影响，我们需要对数据特征进行归一化处理，使得不同指标之间有一定的可比性。常用的归一化方法有：
使用表格数据进行深度学习的最简单方法是通过fast-ai库，它可以提供非常好的结果，但是对于试图了解幕后实际情况的人来说，它可能有点抽象。因此在本文中，介绍了如何在Pytorch中针对多类分类问题构建简单的深度学习模型来处理表格数据。
如果你你正在学习机器学习，那么特征工程必不可少，特征缩放和特征编码刚是其中的一项，如果你之前不了解，那么希望这边文章能对你有所启发。关于特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征。
在做Kaggle项目的时候，碰到的问题，通常拿到一个比赛项目，将特征分为数字型特征和文字性特征，分别进行处理，而对于文字型特征如何处理，这时就需要用LabelEncoder（标签编码）和One—Hot（独热编码）将其转换为相应的数字型特征，再进行相应的处理。 首先了解机器学习中的特征类别：连续型特征和离散型特征
机器学习在监督学习领域主要解决两个问题，分类和回归问题。那么分类问题又分为二分类问题和多分类问题，而二分类问题相对来说很好解决，我们只需要构建输出层有一个神经元的神经网络，然后结合sigmoid函数，即可实现二分类问题。而神经网络的多分类问题就相对复杂一些，假如我们要解决三分类的问题，那么我们构建神经网络的时候，就需要构建一个输出层为三个神经元的神经网络，然后配合使用softmax回归来完成神经网络多分类的任务。
类别型特征（categorical feature）主要是指职业，血型等在有限类别内取值的特征。它的原始输入通常是字符串形式，大多数算法模型不接受数值型特征的输入，针对数值型的类别特征会被当成数值型特征，从而造成训练的模型产生错误。
在特征工程之特征选择中，我们讲到了特征选择的一些要点。本篇我们继续讨论特征工程，不过会重点关注于特征表达部分，即如果对某一个特征的具体表现形式做处理。主要包括缺失值处理，特殊的特征处理比如时间和地理位置处理，离散特征的连续化和离散化处理，连续特征的离散化处理几个方面。
本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征。
自1986年[1]问世以来，在过去的30年里，通用自动编码器神经网络已经渗透到现代机器学习的大多数主要领域的研究中。在嵌入复杂数据方面，自动编码器已经被证明是非常有效的，它提供了简单的方法来将复杂的非线性依赖编码为平凡的向量表示。但是，尽管它们的有效性已经在许多方面得到了证明，但它们在重现稀疏数据方面常常存在不足，特别是当列像一个热编码那样相互关联时。
以下段落旨在更详细地介绍 ML 系统如何呈现自身以及当今与现实世界中的应用程序开发相关的主要挑战。
虽然人工智能和机器学习为企业提供了充分的可能性来改善其运营并最大化其收入，但却没有“免费午餐”这样的东西。
深度学习的内容不是那么好掌握的，包含大量的数学理论知识以及大量的计算公式原理需要推理。且如果不进行实际操作很难够理解我们写的代码究极在神经网络计算框架中代表什么作用。
研究表明，机器学习系统在理论和实践中都容易受到对抗样本的影响。到目前为止，此类攻击主要针对视觉模型，利用人与机器感知之间的差距。尽管基于文本的模型也受到对抗性样本的攻击，但此类攻击难以保持语义和不可区分性。在本文中探索了一大类对抗样本，这些样本可用于在黑盒设置中攻击基于文本的模型，而无需对输入进行任何人类可感知的视觉修改。使用人眼无法察觉的特定于编码的扰动来操纵从神经机器翻译管道到网络搜索引擎的各种自然语言处理 (NLP) 系统的输出。通过一次难以察觉的编码注入——不可见字符（invisible character）、同形文字（homoglyph）、重新排序（reordering）或删除（deletion）——攻击者可以显着降低易受攻击模型的性能，通过三次注入后，大多数模型可以在功能上被破坏。除了 Facebook 和 IBM 发布的开源模型之外，本文攻击还针对当前部署的商业系统，包括 Microsoft 和 Google的系统。这一系列新颖的攻击对许多语言处理系统构成了重大威胁：攻击者可以有针对性地影响系统，而无需对底层模型进行任何假设。结论是，基于文本的 NLP 系统需要仔细的输入清理，就像传统应用程序一样，鉴于此类系统现在正在快速大规模部署，因此需要架构师和操作者的关注。
Sklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具。它建立在 NumPy, SciPy, Pandas 和 Matplotlib 之上，里面的 API 的设计非常好，所有对象的接口简单，很适合新手上路。
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
地址:https://www.cnblogs.com/pinard/p/9032759.html
人工智能（Artificial Intelligence）是计算机科学的一个分支学科，主要研究用计算机模拟人的思考方式和行为方式，从而在某些领域代替人进行工作.
前面我们说过，特征工程在数据挖掘任务中非常重要，可以说直接关系着后续模型效果的好坏。不过要做好特征工程并不容易，它既需要对业务有深入的理解，还要求掌握扎实的专业知识。在数据分析中，常用的特征工程方法包括特征放缩和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响。后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征。下面将给大家分别介绍特征放缩和特征编码的具体处理方法。
大多数最先进的 ML 模型都具有黑匣子特性。在ML 模型的预测性能和解释能力之间通常需要权衡。
在特征/列上执行的任何能够帮助我们根据数据进行预测的操作都可以称为特征工程。这将包括以下内容:
在机器学习中，数据有不同的类型，包括数字、分类和文本数据。分类要素是采用一组有限值（如颜色、性别或国家/地区）的特征。但是，大多数机器学习算法都需要数字特征作为输入，这意味着我们需要在训练模型之前将分类特征转换为数字特征。
在过去的四年里（在谷歌，以及之前的Comet Labs），我有机会与世界各地的数百家初创公司和公司合作，帮助他们定义他们的ML战略，从问题框架到结束 - 到 -最终实施在生产中运行的ML模型。我们共同致力于部署模型以提高运营效率（例如内部工具，DevOps等），摆脱瓶颈（例如，为客户服务团队提供“神奇的力量”），开发基于ML的产品功能，并构建新产品一起。
网络游戏及电竞流媒体业务正在崛起为一个巨大的市场。在去年的英雄联盟世界锦标赛中，仅一场半决赛就有高达 1.06 亿人观看，甚至超过了 2018 年“超级碗”的观看人数。另一个成功的例子是 Twitch，目前有数千游戏玩家在上面直播玩游戏，平台也早已收获数千万观众。而专门向游戏玩家提供个性化游戏分析报告的公司 Visor，正积极搭建模型，用于实时预测游戏比赛中的胜负。
图像识别一直是人工智能领域的热门研究方向之一。深度学习模型在图像识别中的应用已经取得了显著的进展，使计算机能够像人一样理解和分类图像。本文将介绍如何使用深度学习模型来识别CIFAR-10数据集中的图像，并对模型的准确率进行分析。
导语：此文编译自FCC（FreeCodeCamp），作者为Déborah Mesquita，该作者利用神经网络和TensorFlow进行了机器文本分类，并提出了一种新颖的学习方法——宏观分析。机器人圈希望通过此文对圈友开始机器学习的探索之路有所帮助，文章略长，请耐心阅读并收藏 。我们附上了此实例最终代码的GitHub链接，供圈友学习使用。 开发人员经常说，如果你想要着手机器学习，你就应该首先学习算法是如何运行的。但是我的经验告诉我并不需要如此。 我认为，你应该首先能够宏观了解：这个应用程序是如何运行的。一
特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。从本质上来讲，特征工程是一个表示和展现数 据的过程。在实际工作中，特征工程旨在去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。
许多开发者向新手建议：如果你想要入门机器学习，就必须先了解一些关键算法的工作原理，然后再开始动手实践。但我不这么认为。 我觉得实践高于理论，新手首先要做的是了解整个模型的工作流程，数据大致是怎样流动的，经过了哪些关键的结点，最后的结果在哪里获取，并立即开始动手实践，构建自己的机器学习模型。至于算法和函数内部的实现机制，可以等了解整个流程之后，在实践中进行更深入的学习和掌握。 在本文中，我们将利用 TensorFlow 实现一个基于深度神经网络（DNN）的文本分类模型，希望对各位初学者有所帮助。 下面是正式的
特征工程本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。一般来说包含以下几个方面的内容:
稠密特征一般是相对稀疏特征来说的，我们知道类别特征经过独热编码之后比较稀疏，比如类别 [‘小猫’，‘小狗’，‘小熊’，‘小猴’] 被独热编码后的数据结构为[[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]]，可以看到这种数据很稀疏，但是像桌子的长度这种稠密特征数据一般就是 [3.4,2.6,8.9,6.7] 这种。一般针对类别特征都是通过词嵌入的方法把稀疏特征转化为稠密特征然后再输入到神经网络中，不然直接输入会导致维度爆炸等问题，那么怎样把稠密数据加入到CTR预估网络模型中呢？
编者按：本文源自一位数据科学开发者的个人博客，主要面对初学者用户，AI 研习社编译。另外，关于 TensorFlow 和 DNN 的更多深度内容，欢迎大家在文末了解即将于 25 日开班的培训课程，今天可是早鸟票折扣的最后一天哦~ 许多开发者向新手建议：如果你想要入门机器学习，就必须先了解一些关键算法的工作原理，然后再开始动手实践。但我不这么认为。 我觉得实践高于理论，新手首先要做的是了解整个模型的工作流程，数据大致是怎样流动的，经过了哪些关键的结点，最后的结果在哪里获取，并立即开始动手实践，构建自己的机器学
OneHotEncoder 是用于将类别型特征转换为独热编码的类。独热编码是一种常用的特征编码方式，特别适用于处理类别型特征，将其转换为数值型特征。 对于每个类别型特征，OneHotEncoder 将其编码成一个长度为类别数量的向量。 每个类别对应一个维度，如果样本的该特征值为该类别，则对应维度置1，其他维度置0。
如果线性子空间是平的纸张，那么卷起的纸张就是非线性流形的例子。你也可以叫它瑞士卷。（见图 7-1），一旦滚动，二维平面就会变为三维的。然而，它本质上仍是一个二维物体。换句话说，它具有低的内在维度，这是我们在“直觉”中已经接触到的一个概念。如果我们能以某种方式展开瑞士卷，我们就可以恢复到二维平面。这是非线性降维的目标，它假定流形比它所占据的全维更简单，并试图展开它。
作者|穆文 前言 Kaggle上有篇名为「Approaching (Almost) Any Machine Learning Problem」的博客（点击底部阅读原文），作者是Kaggle比赛的专业户，博客是他参加Kaggle比赛的经验总结。在进入正题前随便扯几句： 本文并非原博客的翻译版，而是90%的原创，是在原博客基础上融合自己的经验，重写了大部分章节和代码。所以当你看到本文跟原博客差别很大时，请不要怀疑人生 ;-P 原博客题目直译过来是『解决(几乎)任一机器学习问题的方法』，但原博客内容更偏数据挖掘
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
