熵是热力学中的一个重要的概念，最早是由香农(Claude Shannon)将熵应用于信息的度量。
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。
模式: 为了能够让机器执行和完成识别任务，必须对分类识别对象进行科学的抽象，建立它的数学模型，用以描述和代替识别对象，这种对象的描述即为模式。
反向传播算法（back propagation，简称BP模型）是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。
和粒子群算法一样，模拟退火算法也属于启发式算法的一种。 启发式算法，可参照下面的定义。 启发式算法：在搜索最优解的过程中利用到了原来搜索过程中得到的信息，且这个信息会改进我们的搜索过程。
今天我想分享一个简单的 idea，它既不新颖也不花哨。甚至很多人都有过这个想法。但是无论你有没有这么想过，我都希望你能抽出几分钟和我一起重新感受这个想法。
这篇文章是15年谷歌DeepMind团队推出的一个可以学习一种变换，这种变换可以将进行了仿射变换的目标进行校正的网络——Spatial Transformer Network(STN)。STN具有空间不变性特点，也就是说STN可以使图片经过各种变换后的识别效果和未变换前的识别效果保持不变。
本篇文章分享 CVPR 2022 论文『Improving Adversarial Transferability via Neuron Attribution-Based Attacks』,通过基于神经元归属的攻击提高对抗性迁移能力。
猿辅导在EMNLP2021上的一篇论文Aligning Cross-lingual Sentence Representations with Dual Momentum Contrast提出基于双Momentum网络的对比学习方法。对比学习最近非常火，尤其是以SimCES为首所提出的利用Dropout作为正样本的无监督学习方法。猿辅导的这篇论文和SimCES却不一样，它主要是从网络整体架构入手，基于Momentum网络提出了一种有监督的跨语言句子相似度计算方法
最长公共子序列(LCS,Longest Common Subsequence)。其定义是，一个序列 S ，如果分别是两个或多个已知序列的子序列，且是所有符合此条件序列中最长的，则 S 称为已知序列的最长公共子序列。而最长公共子串(要求连续)和最长公共子序列是不同的。 设X(m)={x(1), x(2), x(3),....,x(m)} 和 Y(n)={y(1), y(2), y(3),....,y(n)}的最长公共子序列Z(k)={z(1), z(2),z(3),....,z(k)} 首先，将原问题分解为子
最开始，用图片。将在本地写好的代码截图，这样排版不会乱了。但是图片上的字太小了，看不清楚。
定义：给定线性可分训练数据集，通过间隔最大化或等价的求解凸二次规划问题学习获得分离超平面和分类决策函数，称为线性可分支持向量机。 目录： • 函数间隔 • 几何间隔
版本：1.0.2 最近更新时间：2022年11月09日 16:32 修改次数：1 历史修改内容： 1.0.2 修改离散型条件概率密度公式 1.0.1 修改联合分布函数的性质公式
蒙特卡罗⽅法⼜称统计模拟法，是⼀种随机模拟⽅法，将所求解的问题同⼀定的概率模型相联系，⽤电⼦计算机实现统计模拟或抽样，以获得问题的近似解。为象征性地表明这⼀⽅法的概率统计特征，故借⽤赌城蒙特卡罗命名。
在SVM的前三篇里，我们优化的目标函数最终都是一个关于$\alpha$向量的函数。而怎么极小化这个函数，求出对应的$\alpha$向量，进而求出分离超平面我们没有讲。本篇就对优化这个关于$\alpha$向量的函数的SMO算法做一个总结。
机器学习中大部分都是优化问题，大多数的优化问题都可以使用梯度下降/上升法处理，所以，搞清楚梯度算法就非常重要
C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART
论文标题：《Oriented RepPoints for Aerial Object Detection Wentong》
设X=(X_1, X_2,\cdots,X_p)^\top有p个分量，若E(X_i)=\mu_i(i=1,2,\cdots,p)存在，定义随机向量X的均值为： 式中，\vec{\mu}为一个p
之前有一段时间做过双塔的召回模型[1]，线上各个指标有了不错的提升。目前双塔模型也是被各大公司钟爱的召回模型。对主流召回模型的分享整理在：总结下自己做过的深度召回模型
k-NN (k-nearest neighbor) 由 Cover 和 Hart 于 1968 年提出，属于机器学习算法中的监督学习算法，可以用来解决分类和回归问题。
You are given a point set with nn points on the 2D-plane, your task is to find the smallest number of points you need to add to the point set, so that all the points in the set are center symmetric.
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014688145/article/details/55003910
克里特岛以野人群居而著称。岛上有排列成环行的M个山洞。这些山洞顺时针编号为1,2,…,M。岛上住着N个野人，一开始依次住在山洞C1,C2,…,CN中，以后每年，第i个野人会沿顺时针向前走Pi个洞住下来。
t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外，t-SNE 是一种非线性降维算法，非常适用于高维数据降维到2维或者3维，进行可视化。
选文理由：从 AAAI 发布的 paper list 整体来看，令人喜悦的是靠近底层的问题研究和靠近工业界的产品研究都很多。前者保证了科研界的活跃度和今后行业发展的基础，后者则保证了短期内一些研究落地的可能性。不过，很多项目仍然有研究空间，离落地-或者说成熟期-有一定距离。比如人脸识别的项目已经发展了很多年，应用该技术的产品也很多，但今年接收的论文仍然出现不少在人脸识别方向对算法的改进和扩展的文章。说明 AI 整个行业虽然收到了公众很大的关注，也在过去几年中取得了长足的进展，从产品角度来看仍然有很长的路要走、可以走。
http://blog.csdn.net/u011239443/article/details/75091283
虽然传统边缘检测算法在不断发展的过程中也取得了很大的进步，但仍然无法做到精细的边缘检测处理。随着近年来深度学习的快速发展，计算机视觉领域因此获益颇丰，当下最先进的计算机视觉应用几乎都离不开深度学习，深入我们生活的各个领域如目标检测、工业、农业、医疗等。由于深度学习的特性，使得它成为最适合处理计算机视觉任务的工具之一，特别是卷积神经网络(CNN)，得益于它强大的自动学习能力，图像边缘检测任务得到了长足的发展，涌现出了许多优秀的方法，如 N4-field、DeepContour、HED、RCF，基于神经网络的边缘检测算法成为了研究热点之一。
1 . 后向传播算法 : 针对每个数据样本 , 从输入层到输出层传播输入 , 这是向前传播输入 , 然后从输出层向输入层传播误差 , 这是向后传播误差 ;
这一题思路上来说并不复杂，就是对每一个出现的字符的个数进行统计，然后看一下是否可以删除其中某一个字符中的一个元素使得所有出现的字符频次相同。
局部线性嵌入(Locally Linear Embedding，以下简称LLE)也是非常重要的降维方法。和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，它广泛的用于图像图像识别，高维数据可视化等领域。下面我们就对LLE的原理做一个总结。
版本：1.0.1 最后更新时间：2022年11月10日 09:07 修改次数：1 历史修改内容： 1.0.1：随机变量函数的期望公式
在计算机视觉和图形领域，由于神经渲染和生成模型的进步，三维视觉内容的合成引起了显著关注。尽管出现了许多处理单个任务的方法，例如单视图/多视图三维重建和三维内容生成，但开发一个综合框架来整合多个任务的最新技术仍然是一个主要挑战。例如，神经辐射场（NeRF）在通过每个场景的拟合解决逆向渲染问题方面展示了令人印象深刻的新视图合成结果，这适用于密集视图输入，但难以泛化到稀疏观察。相比之下，许多稀疏视图三维重建方法依赖于前馈图像到三维编码器，但它们无法处理遮挡区域的不确定性并生成清晰的图像。在无条件生成方面，三维感知的生成对抗网络（GAN）在使用单图像鉴别器方面部分受限，这些鉴别器无法推理跨视图关系以有效地从多视图数据中学习。 在这篇论文中，作者通过开发一个全面模型来从多视图图像中学习可泛化的三维先验，提出了一种统一的方法来处理各种三维任务。受到二维扩散模型成功的启发，论文提出了单阶段扩散NeRF（SSDNeRF），它使用三维潜在扩散模型（LDM）来模拟场景潜在代码的生成先验。 虽然类似的LDM已经应用于之前工作中的二维和三维生成，但它们通常需要两阶段训练，其中第一阶段在没有扩散模型的情况下预训练变分自编码器（VAE）或自解码器。然而，在扩散NeRF的情况下，作者认为两阶段训练由于逆向渲染的不确定性特性，特别是在从稀疏视图数据训练时，会在潜在代码中引入噪声模式和伪影，这阻碍了扩散模型有效地学习清晰的潜在流形。为了解决这个问题，论文引入了一种新的单阶段训练范式，使扩散和NeRF权重的端到端学习成为可能。这种方法将生成和渲染偏差协调地融合在一起，整体上提高了性能，并允许在稀疏视图数据上进行训练。此外，论文展示了无条件扩散模型学习到的三维先验可以在测试时从任意观察中灵活地采样用于三维重建。 论文在多个类别单一对象场景的数据集上评估了SSDNeRF，整体展示了强大的性能。论文的方法代表了朝着各种三维任务统一框架的重要一步。总结来说，论文的主要贡献如下：
深度学习笔记 感知机 定义 image.png 其中, sign(x)=1 if x≥0 else 0 几何解释: w⋅x+b 是特征空间的超平面, 把特征空间划分成两部分. 损失函数 错误分类点总数, 但不是连续可导, 不容易优化 image.png 错误分类点到超平面的距离. 对于给定 x0x_0x0 到超平面的距离是 image.png 其中 ∣w∣ 是 L2范式. 那么有损失函数 image.png 其中 MMM 是错误分类点的集合 学习方法 随机梯度下降法 sto
The utilities module implements a number of useful functions and objects that power other ML algorithms across the repo.
决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结，上篇对ID3， C4.5的算法思想做了总结，下篇重点对CART算法做一个详细的介绍。选择CART做重点介绍的原因是scikit-learn使用了优化版的CART算法作为其决策树算法的实现。
随机变量：表示随机试验各种结果的实值单值函数，其实就是某个事件的所有可能情况的数值表示，一般写作 P(x = k) ，表示随机变量 x 取值为 k 时的概率。
构造备忘录P[i,c]，P[i,c]表示在前i个商品中选择，背包容量为c时的最优解
Here I just realize a simple SVM which only supports binary classification, named C-SVC. 代码在Github
UCINET为菜单驱动的Windows程序，可能是最知名和最经常被使用的处理社会网络数据和其他相似性数据的综合性分析程序。与UCINET捆绑在一起的还有Pajek、Mage和NetDraw等三个软件。UCINET能够处理的原始数据为矩阵格式，提供了大量数据管理和转化工具。该程序本身不包含 网络可视化的图形程序，但可将数据和处理结果输出至NetDraw、Pajek、Mage和KrackPlot等软件作图。UCINET包含大量包括探测凝聚子群（cliques, clans, plexes）和区域（components, cores）、中心性分析（centrality）、个人网络分析和结构洞分析在内的网络分析程序。UCINET还包含为数众多的基于过程的分析程序，如聚类分析、多维标度、二模标度（奇异值分解、因子分析和对应分析）、角色和地位分析（结构、角色和正则对等性）和拟合中心-边缘模型。此外，UCINET提供了从简单统计到拟合p1模型在内的多种统计程序。
一、背景 熵是热力学中的一个重要的概念，最早是由香农(Claude Shannon)将熵应用于信息的度量。 熵(Entropy)是描述事物无序性的一个重要的参数，熵越大则无序性越强，同时，熵表示一个随机变量的不确定性。 二、熵 1、信息熵 香农指出，一条信息的信息量和它的不确定性之间有着直接的关系。因此可以使用信息熵来描述信息量的多少。 信息熵的定义为：设一个随机变量X，其可能的mm种取值为x1,x2,⋯,xm，对于每一种取值的概率为：p1,p2,⋯，那么随机变量XX的不确定度，即信息熵，用H(X)H表示：
）个主成分（线性无关变量）来代替m个原有变量（线性相关变量），使问题得以简化，并能保留原有变量的大部分信息（原有变量的方差）。
特征工程是指使用专业的背景知识和技巧处理数据，使得特征能在机器学习算法上发生更好的作用的过程。更好的特征意味着更强的灵活性，只需简单模型就能得到更好的结果，因此，特征工程在机器学习中占有相当重要的地位，可以说是决定结果成败的最关键和决定性的因素。
教程地址：http://www.showmeai.tech/tutorials/34
在推荐系统应用场景中，用户在不同业务域的兴趣和需求往往不同，且在每个域的点击率(CTR)也可能有较大差异，这就导致实际场景中需要对每个业务域单独建模CTR模型。迁移学习的微调模型可能会使模型陷入偏好于源域(source domain)的局部最优，使得训练结果很难适用于目标域。同时，不同域之间的数据量和特征模式存在显著差异(称为领域转移)可能导致迁移过程中出现负迁移现象。
上图中假设有三个输出，分别是2.0，1.0和0.1，如果将数值转换成概率的话，我们希望概率最大的值作为预测的label。即我们希望将最大值2.0所对应的索引作为相应的label输出，那么如何作为probilities输出呢？
机器之心整理 参与：蒋思源 本文介绍了 T 分布随机近邻嵌入算法，即一种十分强大的高维数据降维方法。我们将先简介该算法的基本概念与直观性理解，再从详细分析与实现该降维方法，最后我们会介绍使用该算法执行可视化的结果。 T 分布随机近邻嵌入（T-Distribution Stochastic Neighbour Embedding）是一种用于降维的机器学习方法，它能帮我们识别相关联的模式。t-SNE 主要的优势就是保持局部结构的能力。这意味着高维数据空间中距离相近的点投影到低维中仍然相近。t-SNE 同样能生
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
