，我还以为那些东西没人看呢(⊙o⊙)，最近抽空整理成pdf，需要的下载吧 1.微积分总结 微积分总结 2.线性代数那些事 行列式：理解行列式的几何意义 矩阵：理解矩阵是线性变换，线性变换有哪些，逆矩阵和伴随矩阵以及矩阵的秩的意义...特征向量和特征值：理解特征值和特征向量对于线性变换的几何意义 相似矩阵：理解相似矩阵是同一个线性变换在不同坐标系下的不同表达 正交矩阵：理解正交矩阵对应的正交变换，介绍Givens旋转和Householder...反射 矩阵分解：理解并实现矩阵的各种分解：LU分解，Cholesky分解，QR分解，特征值分解和奇异值分解 3.数值算法与应用 第一章 线性方程组求解 内容包括：高斯消去法，LU分解，Cholesky...分解，矩阵的逆矩阵求解 第二章 非线性方程求解 内容包括：二分法，牛顿法，割线法，IQI法，Zeroin算法 第三章 矩阵特征值和奇异值求解 内容包括：基本幂法，逆幂法和移位幂法，QR分解，Householder...变换，实用QR分解技术，奇异值分解SVD 第四章 曲线拟合和多项式插值 内容包括：曲线拟合，拉格朗日插值多项式，牛顿插值多项式，分段线性插值，保形分段三次插值，三次样条插值
特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。...奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，而且σ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。...更多的关于奇异值计算的部分，将在后面的参考文献中给出，这里不再深入，我还是focus在奇异值的应用中去。...这个假设是一个摄像机采集一个物体运动得到的图片，上面的点表示物体运动的位置，假如我们想要用一条直线去拟合这些点，那我们会选择什么方向的线呢？当然是图上标有signal的那条线。...最后一个矩阵Y中的每一列表示同一主题一类文章，其中每个元素表示这类文章中每篇文章的相关性。中间的矩阵则表示类词和文章雷之间的相关性。
文章目录 说明 特征分解定义 奇异值分解 在机器学习中的应用 参考资料 百度百科词条：特征分解，矩阵特征值，奇异值分解，PCA技术 https://zhuanlan.zhihu.com/p/29846048...，常能看到矩阵特征值分解（EDV）与奇异值分解（SVD）的身影，因此想反过来总结一下EDV与SVD在机器学习中的应用，主要是表格化数据建模以及nlp和cv领域。...奇异值分解 奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，奇异值分解则是特征分解在任意矩阵上的推广。...SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。...假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为： 在机器学习中的应用 在表格化数据中的应用 （1）PCA降维 PCA（principal components analysis
我们获得的k个左奇异值向量矩阵U，k个奇异值的对角矩阵S以及k个右奇异向量V的转置矩阵满足 ?...比如用户-项目的评分矩阵，通常会用用户对所有项目的评分均值或者是对项目评分的均值来取代对应的位置，然后再建立线性模型（其实就是SVD分解）拟合矩阵A，但是通常用这种比较原始的方法来拟合矩阵可能会出现用错误的模型拟合出来与正解偏差更大的值...，然后根据错误的值拟合模型，从而使得整个模型也出现问题。...所以我们一般会利用EM过程建立模型极大化可观测值(observed data)（其实就是矩阵A中没有缺失的值），EM过程中的隐数据(unknow data）就是矩阵A中缺失的值。...我们在一定规模上采样矩阵A的c行组成一个c*n的矩阵C，矩阵C的右奇异矩阵能近似等同矩阵A的右奇异值矩阵，从矩阵A中取到i行的概率记为pi， ? Beta为常量，||*||表示向量的长度。
QR分解也有若干种算法，常见的包括Gram–Schmidt、Householder和Givens算法。 QR分解是将矩阵分解为一个正交矩阵与上三角矩阵的乘积。...实际运用过程中，QR分解经常被用来解线性最小二乘问题，这个问题我们后面讲述。...transformation Householder变换）豪斯霍尔德变换和（Schmidt orthogonalization Schmidt正交化）施密特正交化 Schmidt正交化 定理1 设A是n阶实非奇异矩阵...,则存在正交矩阵Q和实非奇异上三角矩阵R使A有QR分解;且除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外,分解是唯一的....定理2 设A是m×n实矩阵,且其n个列向量线性无关,则A有分解A=QR,其中Q是m×n实矩阵,且满足QHTQ=E,R是n阶实非奇异上三角矩阵该分解除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外是唯一的
深度学习自然语言处理 分享 整理：pp 摘要：低秩适应（LoRA）是在下游任务中通过学习低秩增量矩阵对大规模预训练模型进行微调的一种流行方法。...BiLoRA 采用伪奇异值分解来参数化低秩增量矩阵，并将伪奇异向量和伪奇异值的训练分成两个不同的训练数据子集。这种分割嵌入了 BLO 框架的不同层次，降低了对单一数据集过度拟合的风险。...Hu et al. (2021) 提出了LoRA，通过将低秩更新矩阵引入到预训练的权重矩阵中来实现。...参数化低秩增量矩阵: 类似于奇异值分解（SVD），每个低秩增量矩阵∆W被参数化为∆W = PΛQ，其中P和Q是伪左/右奇异向量矩阵，Λ是伪奇异值对角矩阵。...BiLoRA通过伪奇异值分解（pseudo SVD）的形式参数化低秩增量矩阵，并在两个不同的训练数据子集上分别训练伪奇异向量和伪奇异值。
矩阵补课 特征值分解EVD，奇异值分解SVD image.png EVD特征值分解（The eigenvalue value decomposition） 针对方阵，特征值 ?...存储领域，选取u，v正交基矩阵，计算奇异值矩阵，使奇异值矩阵尽量集中，即可取到 机器学习 1、Introduction E：经验 T：任务 P：概率 机器学习分类 监督学习(supervisor learning...X 特征矩阵 3.2回归遇到的问题，解决方案，正则化 过拟合 拟合特征数>>样本量， 欠拟合 特征数不够<<样本量，不能正确预测，回归 办法 1、 减少无关特征 手动减少无关特征 模型选择算法...6.2 设计神经网络 快速部署、设计简单网络 plot 学习曲线，发现问题 误差分析（验证集）：数值被错误分类的特征，度量误差 误差度量 for skewed classes 偏斜类 precision...分类模型的选择 目前，我们学到的分类模型有： （1）逻辑回归； （2）神经网络； （3）SVM 怎么选择在这三者中做出选择呢？
将普通矩阵分解为奇异向量和奇异值，对于一个m x n的矩阵A，其奇异值分解可以表示为： A = UΣV^T 其中，U是一个m x m的正交矩阵，Σ 是一个m x n的矩阵，其对角线上的元素称为奇异值，...最小二乘问题：在机器学习中，最小二乘问题是一种常见的问题，例如在线性回归中，目标是最小化预测值与实际值之间的误差。在这种情况下，可以使用广义逆矩阵来求解最小二乘问题，从而提高模型的拟合效果。...矩阵逆的估计：当遇到矩阵逆难以直接计算的情况时，可以使用广义逆矩阵来估计矩阵的逆。例如，在PageRank算法中，可以通过使用广义逆矩阵来计算网站的PageRank值。...在这种情况下，可以使用广义逆矩阵来拟合数据，从而实现隐式建模。...这有助于消除数据中的冗余信息。数据白化还可以提高算法的收敛速度和训练效果。因为数据白化可以降低数据之间的相关性，所以可以减少算法的过拟合风险，并且使算法更容易找到最优解。
对角化概述 矩阵分析中，我们都想要好的矩阵，好的矩阵的一大特点就是可以对角化。...但是这种情况下SS基中的向量不一定是正交的。当AA是对称矩阵的话SS中的基可以是标准正交的。...对角化的优点是（以特征值分解举例）： 可以进行对角化分解，A=SΛS−1A= S \Lambda S^{-1} 矩阵的kk次方Ak=SΛkS−1A^k =S \Lambda^k S^{-1} 从对角化的矩阵中可以知道矩阵是不是缺失了某些维度的信息...AmnA_{mn}，寻找行空间RnR^n中的一组标准正交基，通过线性变换AA得到列空间RmR^m中的一组标准正交基。...然后分别以这两组正交且单位化的V,UV,U为基，SS中包含了他们的比例系数，构建了对角化的矩阵SS，实现了对角化解耦的线性变换。
为什么降维 总所周知，在低维下，数据更容易处理，但是在通常情况下我们的数据并不是如此，往往会有很多的特征，进而就会出现很多问题： 多余的特征会影响或误导学习器 更多特征意味着更多参数需要调整，过拟合风险也越大...SVD 概述 奇异值分解（Singular Value Decomposition）简称SVD，主要作用是简化数据，提取信息。 利用SVD实现，我们能够用小得多的数据集来表示原始数据集。...SVD的公式： 这个公式中， U 和 V 都是正交矩阵，即： 原始数据集A是一个m行n列的矩阵，它被分解成了三个矩阵，分别是： 这个公式用到的就是矩阵分解技术。在线性代数中还有很多矩阵分解技术。...在LSI中，一个矩阵是由文档和词语组成的。当我们在该矩阵上应用SVD时，就会构建出多个奇异值。这些奇异值代表了文档中的概念或主题，这一特点可以用于更高效的文档搜索。...在词语拼写错误时，只基于词语存在与否的简单搜索方法会遇到问题。简单搜索的另一个问题就是同义词的使用。这就是说，当我们查找一个词时，其同义词所在的文档可能并不会匹配上。
其中值得注意的是，按照习惯奇异值σ在矩阵Σ中总是按递减的顺序进行排列——即第一行放最大的奇异值，最小的奇异值放在最后一行。...如果需要与矩阵Σ中的σ一一对应，那么就需要对矩阵U和矩阵V中的列进行重新排列。 现在，我们有了一件非常令人兴奋的事，我们得到了一种可以分解任何矩阵的方法，而不仅仅局限于对方阵进行特征分解。...减少模型的训练时间——使用了更少的数据集； 2. 数据更容易可视化——对于高维数据，通过人工的方式去实现可视化是比较困难的。 3. 一些情况下能减小过拟合度——通过减少变量来降低模型的过拟合度。...通过奇异值分解得到的u即是n维空间中的主成分，第i个主成分的重要性可由下式计算所得（通过计算在方差中的比例来确定）： ?...奇异值越大=得到的方差越多=包含的信息就越多 回顾我们例子中的对角矩阵Σ：u1对应的最大奇异值为17.7631，占数据集中方差的比例为74%。
最小二乘矩阵求解与正则化，最小二乘是最常用的线性参数估计方法，早在高斯的年代，就用开对平面上的点拟合线，对高维空间的点拟合超平面。?...作为最小二乘代价函数的改进 式中 则称为正则化参数 (regularization...Tikhonov 正则化在信号处理和图像处理中有时也称为松弛法(relaxation method)Tikhonov 正则化的本质是通过对非满秩的矩阵A的协方差矩阵 的每一个对角元素加入一个很小的扰动...使得奇异的协方差矩阵 求逆变为非奇异矩阵 的求逆，从而大大改善求解非满秩矩阵 的数值稳定性 也就是降低cond条件数的大小。...增加的项对其施加一个惩罚，其得到的解比仅优化 更切合实际 如果矩阵A是满秩矩阵，但存在误差或者噪声是，需要采用与上面相反的做法，就是对上面的协方差矩阵 加上以恶搞很小的扰动矩阵 去干扰，类似于上面的公式
我个人的理解：PCA本质上就是寻找数据的主成分。我们可以简单的打个比方，假设有一组高维数据。他的主成分方向就是用一个线性回归拟合这些高维数据的方向。用最小二乘的逻辑拟合的。...散度矩阵的写法是矩阵的写法，和协方差矩阵公式其实等价。 公式中的n是样本数量 对于每一个样本 x_k ,我们可以假设每一个样本都包含n个特征，也就是每一个样本都是m维度数据。...---- 我们来看特征值和特征向量的几何意义 参考资料：机器学习中SVD总结 (qq.com) 一个矩阵其实就是一次线性比那换，因为矩阵乘以一个向量后得到的向量，就相当于是将这个向量进行了线性变换，比方说下面这个矩阵...所以上证明了 A^TA 的特征向量，就是我们的V，矩阵V就是ATA的特征向量，那么 \sum^2 就是矩阵V的特征值。从上公式中可以看到，奇异值就是特征值的0.5次方。...【基于SVD分解的协方差矩阵实现PCA】 其实流程和上面是一样的，计算协方差矩阵，通过SVD计算特征值和特征向量（奇异向量） 区别在于，PCA在特征值分解中，需要计算出协方差矩阵的k个最大特征向量。
课余时间写的一本关于数值算法与应用的总结小书 总共写了四个章节：[点击章节标题可以直接查看并下载 (^o^)/~] 第一章 线性方程组求解 内容包括：高斯消去法，LU分解，Cholesky分解，矩阵的逆矩阵求解...第二章 非线性方程求解 内容包括：二分法，牛顿法，割线法，IQI法，Zeroin算法 第三章 矩阵特征值和奇异值求解 内容包括：基本幂法，逆幂法和移位幂法，QR分解，Householder变换，实用QR...分解技术，奇异值分解SVD 第四章 曲线拟合和多项式插值 内容包括：曲线拟合，拉格朗日插值多项式，牛顿插值多项式，分段线性插值，保形分段三次插值，三次样条插值 ?
矩阵补课 特征值分解EVD，奇异值分解SVD EVD特征值分解（The eigenvalue value decomposition） SVD奇异值分解（Singularly Valuable...矩阵补课 特征值分解EVD，奇异值分解SVD \(A\)是矩阵 \(x_i\) 是单位特征向量 \(\lambda_i\)是特征值 \(\Lambda\) 是矩阵特征值 EVD特征值分解（The...存储领域，选取u，v正交基矩阵，计算奇异值矩阵，使奇异值矩阵尽量集中，即可取到 机器学习 1、Introduction E：经验 T：任务 P：概率 机器学习分类 监督学习(supervisor learning...X 特征矩阵 3.2回归遇到的问题，解决方案，正则化 过拟合 拟合特征数>>样本量， 欠拟合 特征数不够<<样本量，不能正确预测，回归 办法 1、 减少无关特征 手动减少无关特征 模型选择算法...\] 通过奇异值分解（SVD），求取 \(\Sigma \) 的特征向量（eigenvectors）： \[(U,S,V^T)=SVD(\Sigma )\] 从 U 中取出前 k 个左奇异向量，构成一个约减矩阵
数据拟合 有了历史数据和正确的映射关系，就可以进行数据拟合了。数据拟合最重要的是找到拟合函数，第一眼看到上面那条曲线我想到的就是二次函数，可以用抛物线的一段来进行拟合。...echo 这种命令在 gnuplot 脚本中是不存在的，于是这里绕了一个大圈——在脚本执行完成后，通过分拆 fit.log 中的拟合日志提取函数的各个参数 (a/b/c/f/g/m/n)，再构建函数计算预测值...-v 选项将 shell 脚本中的变量传递到 awk 中，然后在 awk 中根据三个函数分别计算了三个预测值。...关于 score.sh 的内容，可以参数我之前写的那篇文章。 预测值经过计算并提取到 shell 脚本后，分别存储在了三个 data 文件中，文件名说明了他们使用的拟合函数。...在gnuplot中，绘制一些分段函数 [7]. gnuplot使用手册 [8]. shell脚本，awk实现跳过文件里面的空行。 [9]. AWK 打印匹配内容之后的指定行 [10].
多项式拟合和正规方程 特征点的创建和合并 对于一个特定的问题，可以产生不同的特征点，通过对问题参数的重新定义和对原有特征点的数学处理合并拆分，能够得到更加优秀的特征点。...多项式回归 对于更多更加常见的数学模型，其拟合往往是非线性关系的，这时候就需要考虑引用多项式来进行拟合，如： h(x)=θ_0+θ_1 x+θ_2 x^2+θ_3 x^3 正规方程算法 （最小二乘法）...在微积分中，对于函数 f(x,y) ，其局部最值往往是在 f_x=0 且 f_y=0 处取得。...对于一些如分类算法等等更加复杂的算法，正规方程法并不适用于求它们在极值处的θ值。 正规方程的不可逆性 在使用正规方程时，要注意的问题是，如果设计矩阵X不可逆（为奇异矩阵），正规方程会无法使用。...设计矩阵为奇异矩阵的常见情况： x-I 不满足线性关系 正在运行的学习算法中，特征点的数量大于样本点的数量（使得 m≤n ） 当设计矩阵X不可逆时，应当尝试删除一些特征点，或者考虑正规化（Regularation
(adapter) 的两个矩阵 和 ， ；剩余的奇异值和奇异向量用来构造残差矩阵 ，使得 。...因此，适配器中的参数包含了模型的核心参数，而残差矩阵中的参数是修正参数。通过微调参数量较小的核心适配器 A、B，冻结参数量较大的残差矩阵 ，就达成了用很少的参数近似全参数微调的效果。...假设 W 的奇异值分解为 ，A、B 使用 SVD 分解后奇异值最大的 r 个奇异值、奇异向量进行初始化： 残差矩阵使用其余的奇异值、奇异向量进行初始化： PiSSA 直接对 W 的低秩主成分 A、B 进行微调...因此，研究人员使用一种快速奇异值分解 [6] 方法替代标准的 SVD 分解，通过下表的实验可以看出，仅需几秒钟的时间，就能逼近标准 SVD 分解的训练集拟合效果。...表格中的平均误差表示快速奇异值分解与标准 SVD 得到的 A、B 之间的平均 L_1 距离。
初始网络的所有初始权重都是矩阵（使用标准方法初始化）。而在上图的蓝线中，我只是将每个初始权重矩阵的上半部分复制到下半部分（即初始权重矩阵被折叠了一次，因此称其为「Fold 1」网络）。...正交矩阵是固定（Frobenius）范数的矩阵中退化程度最低的，其中退化度可以用多种方法计算。以下是经过几个 epoch 训练之后的梯度范数： ?...直观地说，学习曲线基本上会在参数空间的退化方向变慢，因此退化会减少模型的有效维度。在以前，你可能会认为是用参数拟合模型，但实际上，由于退化，可以有效地拟合模型的自由度却变少了。...随着网络深度增加，积矩阵的奇异值变得越来越集中，而小部分出现频率很低的奇异值变得任意的大。这种结果不仅仅和线性网络相关。...他们提出了一种计算非线性网络雅可比矩阵的整个奇异值分布的方法，并表明在 hard-tanh 非线性网络（而不是在 ReLU 网络）中能实现独立于深度的非退化奇异值分布。
强化学习介于两者之间 —— 每一步预测或者行为都或多或少有一些反馈信息，但是却没有准确的标签或者错误提示。...拟合的方法有许多种，“最小平方”的策略相当于你画一条直线，然后计算每个点到直线的垂直距离，最后把各个距离求和；最佳拟合的直线就是距离和最小的那一条。 ?...它们不容易产生过拟合：如果单个模型不会产生过拟合，那么将每个模型的预测结果简单地组合（取均值、加权平均、逻辑回归），没有理由产生过拟合。...9.奇异值分解： 奇异值分解是线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵酉对角化的推广。...对于给定的m*n矩阵M，可以将其分解为M = UΣV，其中U和V是m×m阶酉矩阵，Σ是半正定m×n阶对角矩阵。 ? 主成分分析其实就是一种简单的奇异值分解算法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
