关于梯度下降法的理解，梯度下降法是一个一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。
我们令 当所有的约束条件满足时，我们得到的 ，而之前的优化目标就是最小化 ，所以跟我们要求的目标函数就转化为： 将最大化和最小化交换之后便可以得到我们的对偶问题： 这里肯定会有很多读者疑问，为什么要
本文是【统计师的Python日记】第3天的日记 回顾一下，第1天学习了Python的基本页面、操作，以及几种主要的容器类型；第2天学习了python的函数、循环和条件、类。 复习大纲： 一、为什么学Python？ 二、安装与熟悉 三、容器 四、函数 五、循环与条件 六、类 日记小结 原文复习（点击查看）： 第1天：谁来给我讲讲Python？ 第2天：再接着介绍一下Python呗 今天将带来第三天的学习日记。 细（tiāo）心（cì）的朋友会发现，第二天的日记写成日期是14年9月，也就是说“第2天”到“第3
0 写在前头 我们一般都是从C语言开始学起的，后来发现C语言不能满足我们快速开发的需求，因为它的API使用起来不很方便，还有就是有些功能亟待扩展，这时候我们很多人选择了C++或Java，C#，这些更高级的语言让我们开发软件时，使用起来更方便了。如今，随着人工智能时代的到来，Python迅速成为了机器学习，深度学习的必备语言，流行的机器学习库，sklearn，完全是基于Python开发的API，深度学习库tensorflow也是对Python的支持最好。 由此可见，随着时代的发展，各种语言不断迭代，顺应时代的
0 回顾 在最近的推送中，先后总结了最小二乘法的原理，两个求解方法：直接法和梯度下降，最后利用这两种思路进行了python实战。在用直接法求出权重参数时，有一个假设是某个矩阵不能为奇异矩阵。在实战中，我们发现如果它近似为奇异矩阵，然后再利用最小二乘法（OLS）去计算权重参数会出现bug。出现的是什么bug？在OLS算法的基础上应该怎么进行优化解决这个bug呢？ 1 无偏估计 先看一个无偏估计的例子。工人师傅一天制造了1000个小零件，现在质检人员准备要检验这1000个件的合格数量和不合格数量，要求控制在
数组是numpy中最常见的数据结构，np.array() 。字符串和数字不能同时存在于同一个数组中。
在求解矩阵中，往往有很多很好的，经过高度优化的线性代数库，如octave，matlib，python numpy, c++,java. 我们使用这些线性代数库，可以短短几行实现 所要的效果。
在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则： d(x,x) = 0 // 到自己的距离为0 d(x,y) >= 0 // 距离非负 d(x,y) = d(y,x) // 对称性: 如果 A 到 B 距离是 a，那么 B 到 A 的距离也应该
支持向量机（Support Vector Machine，SVM）是一种经典的二分类模型，基本模型定义为特征空间中最大间隔的线性分类器，其学习的优化目标便是间隔最大化，因此支持向量机本身可以转化为一个凸二次规划求解的问题。
在Python中，列表支持与整数的乘法运算，但表示的是列表元素的重复，并生成新列表，如： >>> [1,2,3]*3 [1, 2, 3, 1, 2, 3, 1, 2, 3] Python列表不支持与整数的加、减、除运算，也不支持列表之间的减、乘、除操作，而加法运算则表示列表元素的合并，并生成新列表，如： >>> [1,2,3]+[4,5,6] [1, 2, 3, 4, 5, 6] 对于向量而言，经常需要这样的操作，例如向量所有分量同时加、减、乘、除同一个数，或者向量之间的加、减、乘、除运
机器学习中的基本数学知识 注：本文的代码是使用Python 3写的。 机器学习中的基本数学知识 线性代数（linear algebra） 第一公式 矩阵的操作 换位(transpose) 矩阵乘法 矩阵的各种乘积 内积 外积 元素积(element-wise product/point-wise product/Hadamard product 加 低等数学 几何 范数(norm) 拉格朗日乘子法和KKT条件 微分（differential） 表示形式 法则 常见导数公式 统计学/概率论 信息论
"MLK，即Machine Learning Knowledge，本专栏在于对机器学习的重点知识做一次梳理，便于日后温习，内容主要来自于《百面机器学习》一书，结合自己的经验与思考做的一些总结与归纳，本
所以，实数矩阵的共轭转置矩阵就是转置矩阵，复数矩阵的共轭转置矩阵就是行列互换位置后每个元素取共轭。
在机器学习之逻辑回归（Logistics Regression）中，我们考虑了这样一个问题：
📚 文档目录 随机事件及其概率 随机变量及其分布 期望和方差 大数定律与中心极限定理 数理统计的基本概念 参数估计 假设检验 多维 回归分析和方差分析 降维 10.1 主成分分析（PCA) 不懂线性代数, 下面这些参考了一些 PCA 的说明, 但我总觉得某些解释的不是很严谨. 目标 PCA 常用于高维数据的降维,可用于提取数据的主要特征分量. 对于原始数据矩阵 其中, 列向量 为 n 个样本中的一个. r 行表示 r 个维度. 对该矩阵进行中心化,得到中心化矩阵 X image.png X
一、上一次我们讲到关于SVM通过拉格朗日乘子法去求解的部分，引入乘子 得到下面的式子： 我们令 当所有的约束条件满足时，我们得到的 ，而之前的优化目标就是最小化 ，所以跟我们要求的目标函数就转化为
第二层、深入SVM 2.1、从线性可分到线性不可分 2.1.1、从原始问题到对偶问题的求解 接着考虑之前得到的目标函数： 由于求 的最大值相当于求 的最小值，所以上述目标函数等价于（w由分母变
输入 N 个互不相同的二维整数坐标, 求这 N 个坐标可以构成的正方形数量。(内积为零的两个向量垂直)
定义：假设$V$是数域$\mathbb{F}$上的线性空间，在$V$上定义了一个二元函数$\left<\alpha, \beta\right>$，若
我们知道泰勒展开式就是把函数分解成1，x,x^2,x^3....幂级数（指数）的和。
作者：daniel-D 来源：http://www.cnblogs.com/daniel-D/p/3244718.html 在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则： 1) d(x,x) = 0
很偶然地发现了一个matlab2010a的一个bug：在某种非常特殊的情况下，matlab2010a的向量内积，即*指令会产生错误的结果。
根据图像其局部的像素联系较为紧密，距离较远的像素相关性较弱，这一合理的假设，CNN认为每个神经元没有必要对整个的全局图像进行感知，只需要对局部进行感知，然后接下来的隐含层中再对局部的信息综合起来，这样就提取成了一个新的保留了原来主要特征的图像。
假设我们现在有一个输入属性（input attribute）x，有时候我们会将这个x给映射到一组新的集合上去，
SVM在之前的很长一段时间内是性能最好的分类器，它有严密而优美的数学基础作为支撑。在各种机器学习算法中，它是最不易理解的算法之一，要真正掌握它的原理有一定的难度。在本文中，SIGAI将带领大家通过一张图来理清SVM推导过程的核心过程。
代表我们要拟合出来的方程到真实值距离的平方，平方的原因是因为可能有负值，正负可能会抵消
本文介绍的是IJCAI-19的一篇论文，题目为《CFM: Convolutional Factorization Machines for Context-Aware Recommendation》，将卷积神经网络和因子分解机FM相结合，提出了CFM模型，一起来学习下！ 论文下载地址：https://www.ijcai.org/Proceedings/2019/0545.pdf
本文介绍了奇异值分解（SVD）在机器学习和深度学习领域中的应用，包括图像压缩、去噪、降维等方面。SVD是一种矩阵分解方法，能够将矩阵分解为三个矩阵的乘积，从而可以用于计算图像压缩、去噪、降维等任务中的奇异值。同时，SVD也可以用于深度学习中的特征值分解，从而帮助机器学习算法更好地理解数据。
这是SVM的第一部分，如想了解，请参考： 机器学习|支持向量机参数求解 01 — 噪音点出现了 如下图所示，有一个带圈的噪音点出现在了右下角，决策边界在哪里？ 如果决策边界这样，可以看出它不是好的
本手册整理自机器学习各相关书籍、网络资料、个人的理解与实践。总体编写宗旨： ①一看就懂； ②用20%的文字，涵盖80%的内容。 至于剩下的20%，一般属于比较偏、难的部分，建议自行查询相关书籍资料学习。而只用20%的文字，则代表手册里面几乎没有废话，也只有极少数必要的例子。
这个基本上是中学当中数学课本上的概念，两个向量的内积非常简单，我们直接看公式回顾一下：
这里两虚线之间的几何间隔r= d ∣ ∣ W ∣ ∣ \frac{d}{||W||} ∣∣W∣∣d,这里的d就为两虚线之间的函数间隔。 （一图读懂函数间隔与几何间隔）
前言： 线代知识点多，有点抽象，写的时候尽量把这些知识点串起来，如果不行，那就两串。其包含的几大对象为：向量，行列式，矩阵，方程组。 观点 核心问题是求多元方程组的解，核心知识：内积、秩、矩阵求逆，应用：求解线性回归、最小二乘法用QR分解，奇异值分解SVD，主成分分析（PCA）运用可对角化矩阵 向量 基础 向量：是指具有n个互相独立的性质(维度)的对象的表示，向量常 使用字母+箭头的形式进行表示，也可以使用几何坐标来表示向量。 单位向量：向量的模、模为一的向量为单位向量 内积又叫数量积
01 — 回顾 以上推送了神经网络相关的介绍性内容和相关的基础理论，包括： 神经网络的基本结构：输入层，隐含层，输出层； 批随机梯度下降算法（mini-batch SGD）； 前向传播，激活函数； 反向传播求参数的偏导，四个公式； 手写字数据集的mini-batch SGD 源码实现（借助BP算法求参数偏导）； 对隐藏层的感性认识，神经网络的隐含层是如何从具体到抽象层层构建的。 以上阐述了深度神经网络（DNN）的基本理论，关于这些介绍请参考以下推送： 为什么要有深度学习？系统学习清单 深度学习|神经网络模型
我将包括本文中讨论的每个矩阵操作的含义、背景描述和代码示例。本文末尾的“关键要点”一节将提供一些更具体矩阵操作的简要总结。所以，一定要阅读这部分内容。
numpy是Python的高级数组处理扩展库，提供了Python中没有的数组对象，支持N维数组运算、处理大型矩阵、成熟的广播函数库、矢量运算、线性代数、傅里叶变换以及随机数生成等功能，可与C++、FORTRAN等语言无缝结合，树莓派Python v3默认安装就已包含了numpy。 根据Python社区的习惯，首先使用下面的方式来导入numpy模块： >>> import numpy as np （1）生成数组 >>> np.array((1, 2, 3, 4, 5)) #把Python列表转换成数组 ar
定义：设 $A, B \in \mathbb{C}^{n \times n}\left(\right. 或 \left.\mathbb{R}^{n \times n}\right)$，若存在$U \in U^{n \times n}\left(\right. 或 \left.E^{n \times n}\right)$，使得
在样本空间中找到一个划分超平面，将不同类别的样本区分开。但是事实上，能将训练样本划分开的超平面可能有很多，如下图所示，我们的任务就是寻找到最优的划分超平面。
接前文 支持向量机SVM入门详解：那些你需要消化的知识 让我再一次比较完整的重复一下我们要解决的问题：我们有属于两个类别的样本点（并不限定这些点在二维空间中）若干，如图， 圆形的样本点定为正样本（连带
【导读】einsum 全称 Einstein summation convention（爱因斯坦求和约定），又称为爱因斯坦标记法，是爱因斯坦 1916 年提出的一种标记约定，本文主要介绍了einsum 的应用。
向量加和：A + B = B + A 需要维度相同 [1, 2] + [3, 4] = [4, 6]
NumPy是Python的一个扩展库，负责数组和矩阵运行。相较于传统Python，NumPy运行效率高，速度快，是利用Python处理数据必不可少的工具。
这里首先需要辨析一个概念就是FLOPs和FLOPS可以看到简写的差别仅仅是一个字母大小写的区别。 FLOPS(floating-point operations per second)，这个缩写长这个样子确实也很奇怪，大致概念就是指每秒浮点数运算次数，最后一个S是秒(second)的缩写，是计组中的概念，用来描述计算机的运算速度。 FLOPs(floating-point operations)，一旦s变为小写，就表示复数的概念，就是浮点数运算次数，这就和计算量相关了，和卷积或者其他算法联系起来基本上就表示计算次数，可用来衡量操作的复杂程度。 卷积的参数基本上都是说的卷积核的参数，拿一层神经网络来看，卷积核的大小是 ( k h , k w ) (k_h,k_w) (kh,kw)，显然一个卷积核的参数量是这个卷积核的矩阵 k h ∗ k w k_h*k_w kh∗kw，通常这里还要加上一个偏置 b b b，算作一个参数，为了简便计算，这里忽略不计，通常b的设置会有差异性。如果说一层神经网络的输入通道数为 C i n C_{in} Cin输出通道数为 C o u t C_{out} Cout，卷积核需要通过矩阵运算，把输入的 C i n C_{in} Cin的通道数映射为输出为 C o u t C_{out} Cout，如果熟悉卷积核矩阵乘法，我们显然知道这个卷积核的参数就是 C i n ∗ k h ∗ k w ∗ C o u t C_{in}*k_h*k_w*C_{out} Cin∗kh∗kw∗Cout，而且需要注意这只是一个卷积核的，如果有多个卷积核的还需要乘数量。 假设我们经过这个卷积，将输入的特征图映射为 ( H , W ) (H,W) (H,W)的特征图，特征图这些部分是我们中间的计算结果，我们不需要当参数保存，所以计算参数不需要包括这部分。但是如果算卷积操作的计算量，则就用得到了。我们通过对一个区域的卷积运算，将这个区域映射为特征图中的一个cell，同样我们想矩阵的乘法，把一个矩阵乘以 { C i n ， k h ， k w } \left \{ C_{in}，k_h，k_w \right \} { Cin，kh，kw}的卷积核变为一个1乘1的矩阵，可以理解为内积操作，所以得到这一个cell的计算量就是这么多个元素的矩阵的内积操作，显然这个计算量就是 C i n ∗ k h ∗ k w C_{in}*k_h*k_w Cin∗kh∗kw个乘法加 C i n ∗ k h ∗ k w C_{in}*k_h*k_w Cin∗kh∗kw-1个加法。但是显然我们输出的通道数是 C o u t C_{out} Cout，所以我们需要 C o u t C_{out} Cout个这样的操作。这只是求出来一个输出特征图的cell，我们需要求 H ∗ W H*W H∗W个cell，那么最终的计算量还需要再乘上这个值。也就是 ( 2 C i n ∗ k h ∗ k w − 1 ) ∗ C o u t ∗ H ∗ W \left(2C_{in}*k_h*k_w-1\right)*C_{out}*H*W (2Cin∗kh∗kw−1)∗Cout∗H∗W的计算量了。 如果有偏置常数的话，显然这个偏置常数只关系加法，而且是在内积求完之后的，所以相当于加法也变为了 C i n ∗ k h ∗ k w C_{in}*k_h*k_w Cin∗kh∗kw个，没有那个-1，然后这样算出的最终计算量就是 ( 2 C i n ∗ k h ∗ k w ) ∗ C o u t ∗ H ∗ W \left(2C_{in}*k_h*k_w\right)*C_{out}*H*W (2Cin∗kh∗kw)∗Cout∗H∗W 一个cell一个cell的计算卷积，我们可以参考一张解释卷积的图。
主成分分析法，简称PCA，主要运用于数据的降维处理，提取更多有价值的信息（基于方差），涉及知识主要是线性代数中的基变换、特征值和特征向量。
这是两个函数组合的反常积分。我们用这样一个例子来说明，就是一个人一天的进食和消化情况。
,根据向量表示 man 和 woman 的主要差异在性别 Gender 上，而 king 和 queen 的主要差异也是在 Gender 上。
相信了解机器学习的同学都知道，SVM的“完美强迫症”使得其在各大模型中，几乎是一个“统治性”的地位。但是也不是那么绝对啦，SVM比较耗时，因此不适合那些超大样本。
你不能比较苹果和橙子。或者你可以吗？像 Milvus[3] 这样的向量数据库允许你比较任何你可以向量化的数据。你甚至可以在你的 Jupyter Notebook[4] 中做到这一点。但是 向量相似性搜索[5] 是如何工作的呢？
在上一次的介绍中，我们稍微了解到了关于support vector machine 的一些入门知识。今天，我们将真正进入支持向量机的算法之中，大体的框架如下： 1、最大间隔分类器 2、线性可分的情况（详细) 3、原始问题到对偶问题的转化 4、序列最小最优化算法 1、最大间隔分类器 函数间隔和几何间隔相差一个∥w∥ 的缩放因子（感觉忘记的可以看一下上一篇文章）。按照前面的分析，对一个数据点进行分类，当它的间隔越大的候，分类正确的把握越大。对于一个包含n 个点的数据集，我们可以很自然地定义它的间
本人于2019年12月份在知乎平台上提出了《在推荐系统领域有什么巧妙的idea》的问题，截止目前已经有近1k关注，近40k的浏览，可见大家对于推荐系统领域的广泛关注。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
