https://github.com/YC-Coder-Chen/feature-engineering-handbook
KNN算法属于有监督的学习算法，它的中文名称为K最近邻算法，同样是十大挖掘算法之一。它与很多其他的监督算法不同，属于“惰性”学习算法，即不会预先生成一个分类或预测模型，用于新样本的预测，而是将模型的构建与未知数据的预测同时进行。
类 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。
① 目的 : 根据现有的数据集的 若干 ( 1 个或多个 ) 属性值 ( 特征值 / 变量 ) , 预测其它属性值 ;
贝叶斯估计是贝叶斯学派估计未知参数的主要方法，与频率学派相比，贝叶斯学派最主要的观点就是未知量是一个随机变量，在进行抽样分布之前，未知量有自己的分布函数，即所谓的先验分布。而贝叶斯估计也就是通过引入未知量的先验分布来将先验信息和传统频率学派的总体信息和样本信息结合起来，得到一个未知量的后验分布，然后对未知量进行统计推断。
📚 文档目录 随机事件及其概率 随机变量及其分布 期望和方差 大数定律与中心极限定理 数理统计的基本概念 参数估计 假设检验 多维 回归分析和方差分析 降维 6.1. 参数的点估计 总体分布 X 的分布形式已知,未知的只是分布中的参数,要估计的只是参数或者参数的某一函数. 6.1.1. 矩估计法 公式 样本矩 总体矩 注意: 样本阶中的计算都是 n 而不会用到样本方差 S^2 6.1.2. 极大似然估计 估计参数值,使得出现
最近感觉对EM算法有一点遗忘，在表述的时候，还是有一点说不清，于是重新去看了这篇<CS229 Lecture notes>笔记. 于是有了这篇小札.
看起来，它并不是一件需要特别的知识铺垫才能正确理解的东西。但是，也许正因为如此，我们总是并没有很好地厘清这个概念的内涵。它和数学中的变量是一个概念吗？
初一看，这个等式貌似不会成立，0.9999....给人的第一感觉该是无限接近于1、但应该比 1 小。
数控编程、车铣复合、普车加工、行业前沿、机械视频，生产工艺、加工中心、模具、数控等前沿资讯在这里等你哦
在我们的以前文章中介绍过统计学习中预测和推理之间的区别。尽管这两种方法的主要区别在于最终目标，但我们都需要估计一个未知函数f。
在很多“经验丰富”的服务端工程师看来，实现产品需求的功能非常简单，无非是一系列接口和服务，通过不断地堆代码即可实现，这是一种典型的“战术性编程”思维。
此篇文章作为本人对马尔科夫随机场等概率模型在立体视觉的应用的首篇记录，包含了本人对马尔科夫场理论的浅显理解和最大后验概率估计方法的理解。囿于本人学术水平，此篇文章参考了大量的数学教材、网络的相关博客以及国内外学术论文，在此特别鸣谢以下创作：
其中Wij(i=1，…，n，j=1，…，m)是某些常系数，这些系数就定义了这个线性表示．因此可以看出，为了得到数据yi的线性表示，必须求出未知系数Wij．简单起见，这种数据的表示可写成矩阵的形式：
我们在处理人的姓名的时候，一般都是男或者女，或者最大再加一个未知，不会有其他类型吧。
解决线性方程组的最终目标是找到未知变量的值。这是带有两个未知变量的线性方程组的示例，x并且y：
any在使用过程中就像一个潘多拉魔盒，即使使用了断言，也丧失了在静态类型检查阶段发现错误的可能性。
当我们在做聚类任务时， 如果每一类的分布已知的话，那么要求出每个样本属于哪一类， 只需要计算出它归属于 k 个不同簇的概率，然后选择概率值最高的那个簇作为它最终的归属即可。
线性回归（Linear Regression）是非常流行的机器学习算法。线性回归可以用来确定两种或两种以上变量之间的定量关系。具体来说，线性回归算法可以根据一组样本数据，拟合出一个线性模型，并通过对该模型的参数进行估计和预测，达到对未知数据进行预测的目的。
设Y是一个可观测的随机变量，它受到p-1个非随机因素 X1、X2、X3···X(p-1)和随机因素ε的影响。 若Y与 X1、X2、X3···X(p-1)有如下线性关系：
所谓参数估计，就是已知随机变量服从某个分布规律，但是概率分布函数的有些参数未知，那么可以通过随机变量的采样样本来估计相应参数。
中国教科书中通常首先学习导数，例如中学时期的切线方程，函数单调性，零值点和极值点个数等等，而直到大学时期才引入微分的概念，导致大多数人通常并不了解微分和导数之间的关系。
有一种参照表叫数据确认主表。性别编码就是这种参照表的例子。有的系统使用字母M、F和U，分别代表男、女、未知；有的系统使用NULL来代表未知的性别；有的系统使用Male和Female代表男、女；而有的系统则使用完全不同的编码，如0（男）、1（女）或0（未知）、1（男）、2（女），等等。还有更复杂的情况，有的系统使用C代表儿童，使用F代表父亲，M代表母亲，各种变化和组合都有可能。要把从这些来源的数据整合到一起，要有一套统一的编码规范，然后把已有的编码映射到规范的编码上。使用单一的查询表比每个系统都有一个查询表要更好，便于维护。这里要满足两个基本的需求：
就可以求出唯一解：X= -984.7667 Y= -61.2 Z= 327.5667 看起来确实有点难度哦！
离散型编码的Python库，里面封装了十几种（包括文中的所有方法）对于离散型特征的编码方法，接口接近于Sklearn通用接口，非常实用 可以使用多种不同的编码技术把类别变量转换为数值型变量，并且符合sklearn模式的转换。
最大期望算法(Expectation Maximization Algorithm，又译期望最大化算法)，是一种迭代算法，用于含有隐变量(hidden variable)的概率参数模型的最大似然估计或极大后验概率估计。
例子是说测量校园里面同学的身高分布，分为男生和女生，分别抽取100个人...具体的不细讲了，参考文档中讲得很详细。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ]T。
随着人工智能系统越来越先进，智能体「钻空子」的能力也越来越强，虽然能完美执行训练集中的任务，但在没有捷径的测试集，表现却一塌糊涂。
我们要找到一个 model function，通过调整它的参数，可以生成任何形状的函数，也就是说这个函数拥有无限的潜力。
1 最大似然概率 例子是说测量校园里面同学的身高分布，分为男生和女生，分别抽取100个人...具体的不细讲了，参考文档中讲得很详细。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ∂]T。 我们独立地按照概率密度p(x|θ)抽取100了个（身高），组成样本集X，我们想通过样本集X来估计出未知参数θ。这里概率密度p(x|θ)我们假设是是高斯分布N(u,∂)的形式，其中的未知参数是θ=[u, ∂]T。抽到的样本集是X={x
对程序员而言，类似x=x+1的代码是再常见不过的了，几乎所有常见的编程语言教程在开始初级教程的时候，都会拿这个问题的计算来做示例，比如对于C#，会像下面这样的代码：
假设随机变量X的分布函数是已知的，但是它的一个或多个参数未知，需要借助总体的一个样本来对总体参数进行估计，就是参数估计问题。
本文简单谈谈机器学习中应该注意的一些问题。仅供大家参考学习和讨论。 1. 特征预处理 机器学习中的输入数据必须是数值类型的，但是现实问题中不免会有一些类别类型的数据，比如性别，颜色，婚姻状况等等，这些类别的数据是无法直接用于机器学习的。那么如何将这类数据转变成数值类型的数据呢？通常可以利用one hot 编码或者标签编码将这类数据变换成数值类型的数据。 比如性别，性别可以分为男，女，这种数据可以利用标签编码来将其变换成数值类型的特征，比如男变换成0，女变换成1。如果性别中还包含未知，或者保密，此时可以将数据
监督式机器学习通常理解为逼近一个目标函数,此函数映射输入变量(X)到输出变量(Y).Y=f(X)。从训练数据中学习目标函数的过程中，我们必须考虑的问题是模型在预测新数据时的泛化性能。泛化好坏是很重要的，因为我们收集到的数据只是样本，其带有噪音并且是不完全的。
机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光。
C++ 程序 抛出异常后 对 局部变量的处理 : 当 C++ 应用程序 在 运行过程 中发生异常时 , 程序会跳转到异常处理程序 , 并执行一些操作以处理异常 ; 在这个过程中 , C++ 会自动处理函数调用的堆栈 , 并释放局部变量和对象等资源 ;
全概率公式为概率论中的重要公式，它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。
还记得上篇文章中，AddressSanitizer（ASAN）linux下的内存分析神器的问题的文章吧，
Krylov方法是一种 “降维打击” 手段，有利有弊。其特点一是牺牲了精度换取了速度，二是在没有办法求解大型稀疏矩阵时，他给出了一种办法，虽然不精确。
说明： 在WinCC全局C脚本中，有默认几个"GetTagMultiWait()"函数，用于读取多个WinCC变量：
C/C++ 中的 volatile 关键字和 const 对应，用来修饰变量，通常用于建立语言级别的 memory barrier。这是 BS 在 "The C++ Programming Language" 对 volatile 修饰词的说明：
1 . 数据挖掘任务分类 : 数据挖掘任务分为 模型挖掘 和 模式挖掘 , 其中 模型挖掘 包含 描述建模 和 预测建模 ;
既然你诚心诚意地想知道 “ 梯度下降 ” 的算法到底是什么样的，相信你应该也了解到了：“线性回归” 是 “梯度下降” 的基础。
解决线性方程组的最终目标是找到未知变量的值。这是带有两个未知变量的线性方程组的示例：
在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，采用了极大似然函数对其模型中的参数进行估计，简单来讲即对于一系列样本
参考 http://www.cnblogs.com/wupeiqi/articles/5017742.html
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
