在机器学习中，许多策略被显式的设计来减少测试误差（可能会以增大训练误差为代价）。这些策略统称为正则化。
又有一周没更新了，不知道进入研究生阶段写博客时间为什么这么上。上周四接到自己第一本书的三审意见需要进行修改。本想着慢慢修改的，结果上周五晚上接到通知北京印刷厂为迎国庆9月开始停业直至10月下旬。没办法必须为新书修改让路，像赶在8月末上式，虽然不知道能不能在8月末把书印出来。这也导致本应该周末整理完Fast R-CNN的笔记有拖了一周。
针对一个给定的任务，通常采取的步骤是：准确一定非规模的数据集，这些数据要和真实数据集的分布一致；然后设定一个优化目标和方法；然后在训练集上训练模型。
今天给大家介绍的是一篇哥伦比亚大学数据科学院Debmalya发表的一篇文章。文章对目前新兴的元学习与图神经网络组合这个方向做出了详细的介绍。
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
作者：Gamaleldin F. Elsayed、Ian Goodfellow、Jascha Sohl-Dickstein
昨天，谷歌大脑 David Ha 等人一篇名为《Weight Agnostic Neural Networks》的论文引爆了机器学习圈。其「颠覆性」的理论让人惊呼：「到头来我们对神经网络一无所知？」
Github：https://github.com/ccc013/AI_algorithm_notes
大多数现有的图像到图像翻译框架——将一个域中的图像映射到另一个域的对应图像——都是基于监督学习的，即学习翻译函数需要两个域中对应的图像对。这在很大程度上限制了它们的应用，因为在两个不同的领域中捕获相应的图像通常是一项艰巨的任务。为了解决这个问题，我们提出了基于变分自动编码器和生成对抗性网络的无监督图像到图像翻译（UNIT）框架。所提出的框架可以在没有任何对应图像的情况下在两个域中学习翻译函数。我们通过结合权重共享约束和对抗性训练目标来实现这种学习能力。通过各种无监督图像翻译任务的可视化结果，我们验证了所提出的框架的有效性。消融研究进一步揭示了关键的设计选择。此外，我们将UNIT框架应用于无监督领域自适应任务，并取得了比基准数据集中的竞争算法更好的结果。
导读： 从训练到用不同的参数做实验，设计神经网络的过程是劳力密集型的，非常具有挑战性，而且常常很麻烦。但是想象一下，如果能够将这个过程实现自动化呢？将这种想象转变为现实，就是本指南的核心内容。 我们将探索一系列的研究论文，这些论文试图解决具有挑战性的自动化神经网络设计任务。在本指南中，我们假设读者尝试过使用 Keras 或 TensorFlow 等框架从头开始设计神经网络。
人类可以快速学习新的视觉概念，也许是因为他们可以很容易地从不同的角度想象出新的物体的样子。结合这种对新概念产生幻觉的能力，可能有助于机器视觉系统进行更好的低视角学习，也就是说，从少数例子中学习概念。我们提出了一种新的低镜头学习方法，使用这个想法。我们的方法建立在元学习(“学习学习”)的最新进展之上，通过将元学习者与产生额外训练例子的“幻觉者”结合起来，并共同优化两种模式。我们的幻觉器可以整合到各种元学习者中，并提供显著的收益:当只有一个训练示例可用时，分类精度提高了6点，在具有挑战性的ImageNet low-shot 分类基准上产生了最先进的性能。
计算机视觉中最基本和最广泛研究的挑战之一是目标检测。该任务旨在在给定图像中绘制多个对象边界框，这在包括自动驾驶在内的许多领域非常重要。通常，这些目标检测算法可以分为两类：单阶段模型和多阶段模型。在这篇文章中，我们将通过回顾该领域一些最重要的论文，深入探讨用于对象检测的多阶段管道的关键见解。
学习从少量的注释实例中检测新目标具有重要的现实意义。当例子极其有限(少于三个)时，就会出现一种特别具有挑战性而又普遍的制度。改进少样本检测的一个关键因素是解决缺乏变化的训练数据。我们提出通过从基类转移共享的类内变异来为新类建立一个更好的变异模型。为此，我们引入一个幻觉网络，该网络可以学习在感兴趣区域(RoI)特征空间中生成额外的、有用的训练示例，并将其纳入现在的目标检测模型。通过不同的区域建议生成过程，我们的方法在两个目前最先进的少样本检测器上产生了显著的性能改善(TFA和CoRPN)。特别是，我们在极具挑战性的COCO基准上达到了最佳的性能。
由Google AI主办的Open Images大赛是目前通用物体检测和实例分割两个领域中数据量最大、数据分布最复杂、最有挑战性的竞赛。它比COCO数据大一个量级，标注更不规则，场景更复杂。
它在MNIST数字分类任务上，未经训练和权重调整，就达到了92%的准确率，和训练后的线性分类器表现相当。
我们提出了基于区域的全卷积网络，用于精确和有效的目标检测。与之前的基于区域的检测器(如Fast/Faster R-CNN)相比，我们的基于区域的检测器是全卷积的，几乎所有计算都在整个图像上共享。为了实现这一目标，我们提出了位置敏感的分数映射来解决图像分类中的平移不变性与目标检测中的平移方差之间的矛盾。因此，我们的方法可以很自然地采用完全卷积的图像分类器骨干网络，如最新的残差网络(ResNets)，用于目标检测。我们使用101层ResNet在PASCAL VOC数据集上显示了很有竞争的结果(例如，在2007年的集上显示了83.6%的mAP)。同时，我们的结果在测试时的速度为每张图像170ms，比Faster R-CNN对应图像快2.5-20倍。
本文是对卷积神经网络的基础进行介绍，主要内容包括卷积神经网络概念、卷积神经网络结构、卷积神经网络求解、卷积神经网络LeNet-5结构分析、卷积神经网络注意事项。
作者灯会为21届中部985研究生，凭借自己整理的面经，去年在腾讯优图暑期实习，七月份将入职百度cv算法工程师。在去年灰飞烟灭的算法求职季中，经过30+场不同公司以及不同部门的面试中积累出了CV总复习系列，此为目标检测篇。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
目标检测系列： 目标检测(object detection)系列（一） R-CNN：CNN目标检测的开山之作 目标检测(object detection)系列（二） SPP-Net：让卷积计算可以共享 目标检测(object detection)系列（三） Fast R-CNN：end-to-end的愉快训练 目标检测(object detection)系列（四） Faster R-CNN：有RPN的Fast R-CNN 目标检测(object detection)系列（五） YOLO：目标检测的另一种打开方式 目标检测(object detection)系列（六） SSD：兼顾效率和准确性 目标检测(object detection)系列（七） R-FCN：位置敏感的Faster R-CNN 目标检测(object detection)系列（八） YOLOv2：更好，更快，更强 目标检测(object detection)系列（九） YOLOv3：取百家所长成一家之言 目标检测(object detection)系列（十） FPN：用特征金字塔引入多尺度 目标检测(object detection)系列（十一） RetinaNet：one-stage检测器巅峰之作 目标检测(object detection)系列（十二） CornerNet：anchor free的开端 目标检测(object detection)系列（十三） CenterNet：no Anchor，no NMS 目标检测(object detection)系列（十四）FCOS：用图像分割处理目标检测
训练深度神经网络是一个乏味的过程。更实际的方法，如重新使用训练好的网络解决其他任务，或针对许多任务使用相同的网络。这篇文章中，我们会讨论两个重要的方法：迁移学习和多任务学习。
今天分享一篇发表在CVPR 2020上的论文：BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition (原文链接：[1])。
本文学习笔记的部分内容参考zouxy09的博客，谢谢！ http://blog.csdn.net/zouxy09/article/details/8775360 什么是卷积 卷积如果改名为“加权平均积”，就会很好理解了。卷积的离散形式就是常用的加权平均，而连续形式则可理解为对连续函数的加权平均。假如我们观测或计算出一组数据，但数据由于受噪音的污染并不光滑，我们希望对其进行人工处理。那么，最简单的方法就是加权平均。实际上加权平均是两个序列在做离散卷积，其中一个序列是权重，另一个序列是原数据。试想若把序列换为函
生成对抗网络 (Generative Adversarial Networks, GANs) 在过去几年中被广泛地研究，其在图像生成、图像转换和超分辨率等领域取得了显著的进步。到目前为止，已经提出了大量基于GANs的相关工作和综述。本文基于柏林圣三一大学计算机科学与统计学院的王正蔚博士与字节跳动AI实验室联合发表的一篇综述[1]为基础，详细的解读GANs的来龙去脉，同时为大家介绍近期一些相关工作，中间也会穿插一些笔者的见解。最后，本文也将列出一些可探索的未来研究方向，希望能给予读者一些启发。
卷积运算：原图像*卷积核=新图像，经常用来做边缘检测 人造核：手动指定权重，改善效果
在如今的网络时代，错综复杂的大数据和网络环境，让传统信息处理理论、人工智能与人工神经网络都面临巨大的挑战。近些年，深度学习逐渐走进人们的视线，通过深度学习解决若干问题的案例越来越多。一些传统的图像处理技术也可以通过深度学习来获得更优异的效果，比如去噪、超分辨率和跟踪算法等。为了跟上时代的步伐，必须对深度学习与神经网络技术有所学习和研究。
当我们输入一张图片，首先传达给backbone网络进行特征提取，backbone的选择不是唯一的，可以使用resnet50,101等等，其目的就是为了得到图像的大小较小，但却很深的特征层
torch_data = torch.from_numpy(np_data)可以将numpy(array)格式转换为torch(tensor)格式；torch_data.numpy()又可以将torch的tensor格式转换为numpy的array格式。注意Torch的Tensor和numpy的array会共享他们的存储空间，修改一个会导致另外的一个也被修改。
Deep-Learning-Papers-Reading-Roadmap: [1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." (2015) (Three Giants' Survey) Review 机器学习在当下有很多应用：从网络搜索的内容过滤到电商的商品推荐，以及在手持设备相机和智能手机上的应用。机器学习系统用来做图像识别，语音转换，推送符合用户兴趣的内容。这些应用逐渐地开始不仅仅使用机器学习，越来越多的使用
今天我们向你介绍另一部分，我们将深入了解CVPR 2018（计算机视觉和模式识别）会议的一些论文的细节。 我们已经有四个：关于计算机视觉的GAN，关于人类的姿势估计和跟踪，关于合成数据，以及最后关于域适应。 特别在第四部分中，我们提出了三篇关于同一主题的论文，这些论文实际具有数字可比性。
遥感图像处理是数字图像处理技术中的一个重要组成部分，长期以来被广泛应用于农林业的遥感测绘，防灾减灾等领域。本文旨在通过深度学习技术从遥感影像中分类出农田和林业地块。手工从遥感图像中分类出农田和林业区域分类虽然准确但是效率低下，并且很多采用传统图像分割技术的方法泛化性能差，不适合场景复杂的遥感图像。经实践证明，使用深度学习技术在各种计算机视觉任务中都取得了良好的效果，因此本文首先使用先进的深度学习框架进行分类实验，例如使用PSPNet,UNet等作为分割网络对遥感图像数据集进行分类与分割训练。这些框架在ImageNet，COCO，VOC等数据集上表现很好，但是由于遥感图像数据集相对于ImageNet，COCO等数据集，不仅检测对象相对较小而且可供学习的数据集样本较少，需要针对这一特点进行优化。本文经过多次实验将高分辨率的图像切割成合适大小分辨率的图像以减小神经网络的输入，同时进行图片的预处理和数据增强来丰富学习样本。同时在真实情况下，农林区域易受到拍摄视角，光照等造成分割对象重叠，因此本文提出一种处理分割对象重叠的处理策略，来优化边界预测不准确的情况，使用该方法后准确率有明显提升。经实验证明，本文所提出的基于深度学习的农林业遥感影像分割在开源遥感图像数据集上的取得了94.08%的准确率，具有较高的研究价值 农林业遥感图像数据（图1）对于许多与农林业相关的应用至关重要。例如作物类型和产量监测，防灾减灾以及对粮食安全工作的研究和决策支持。最初，这些数据主要由政府机构使用。如今，蓬勃发展的农林业技术也需要在农场管理，产量预测和林业规划等各种应用领域进行革新。以往农林业地块的高质量遥感图像数据主要是手动在高分辨率图像中分割出来的，即通过土地功能不同引起的颜色，亮度或纹理的差异与周围区域 亮度或纹理的差异与周围区域区分开来。尽管农林业遥感图像的手动分类可以非常准确，但是非常耗时耗力。 图1.1：农田的遥感图像分割 定期更新农林业遥感图像数据的需求日益增加扩大了自动化分割农林业遥感图像的需求。 与ImageNet、VOC2007、COCO等目标检测/分类数据集中的大多数图像相比，农林业遥感图像中的对象相对简单。例如，人体的图像数据看起来要复杂得多，因为它包含各种不同纹理和形状的子对象（面部，手部，衣服等）。因此，优化传统的图像分割以及深度学习技术来设计用于农林业遥感图像分割的算法是非常重要的。该模型需要正确地排除不需要进行分割的对象（房屋，工厂，停车场等），区分具有几乎相似的光谱特性的相邻区域和可见度差的边界区域，并且正确地分割出所需的对象。 1.2 选题来源与经费支持 本研究课题来源于计算机与信息工程学院 随着传感器技术，航空航天技术，图像处理技术快速的发展，利用卫星遥感图像进行深度学习处理广泛应用于生产实际中。由于农林业遥感图像场景复杂，使用传统图像处理分割算法效果差且泛化性能弱，本文使用深度学习方法，在现有的的深度学习模型上训练，优化，最终提出一种一种优化后的深度学习模型，经测试，该模型在收集的农林业遥感图像数据集上可以准确的分割出所需的对象，本文提出的模型主要解决如下几个难点：
Dropout (Dropout)(Srivastava et al., 2014) 提供了正则化一大类模型的方法, 计算方便但功能强大。第一种近似下,Dropout可以被认为是集成非常多的大神经 网络的实用Bagging方法。Bagging涉及训练多个模型,并在每个测试样本上评估多 个模型。当每个模型是一个大型神经网络时,这似乎是不切实际的,因为训练和 评估这样的网络需要花费很多运行时间和内存。通常只能集成五至十个神经网络, 如Szegedy et al. (2014a) 用六个赢得 ILSVRC,超过这个数量就会迅速变得难以处 理。Dropout提供了一种廉价的Bagging集成近似,能够训练和评估指数级的神经网 络。
一年一度的校园招聘已经开始了，为了帮助参加校园招聘、社招的同学更好的准备面试，SIGAI整理出了一些常见的机器学习、深度学习面试题。理解它们，对你通过技术面试非常有帮助，当然，我们不能只限于会做这些题目，最终的目标是真正理解机器学习与深度学习的原理、应用。
TensorFlow TensorFlow 不仅是一个实现机器学习算法的接口，也是一种框架，也可用于线性回归、逻辑回归、随机森林等算法； TensorFlow 使用数据流图来规划计算流程，每个运算操作作为一个节点 node，节点之间的连接称为边，边中流动的数据称为张量，故而得名 TensorFlow，预算操作可以有自己的属性，但必须被预先设置，或者能在创建计算图时被推断出来； TensorFlow 有一套为节点分配设备的策略，这是一个简单的贪婪策略，不能确保找到全局最优解，但可以快速找到一个不错的节点运算分
在使用PyTorch进行多进程训练时，有时会遇到程序卡死的问题。本文将介绍可能导致torch多进程卡死的原因以及如何解决这个问题。
选自arXiv 机器之心编译 参与：Nurhachu Null、刘晓坤 在线深度学习的主要困难是模型的容量、复杂度等设置很不灵活，即模型是静态的，而数据流是动态的。本论文提出了一种适应性的网络框架，结合 HBP 算法，使网络结构能随着数据的流入而逐渐扩展、复杂化。这使得模型同时拥有在线学习和深度学习的优点，并在多种在线学习模型和数据集的对比实验中都取得了当前最佳结果。 近年来，我们见证了深度学习技术在很多应用中的巨大成功。学习深度神经网络面临着很多挑战，包括但不限于梯度消失、逐渐减少的特征重用、鞍点（以及
本文是关于PointNet点云深度学习的翻译与理解，PointNet是一种直接处理点云的新型神经网络，它很好地体现了输入点云的序列不变性。
该文介绍了神经网络模型压缩、加速和量化三个方面的研究进展。其中，压缩技术包括模型剪枝、知识蒸馏等方法，加速技术包括硬件加速、优化算法等方法，量化技术包括量化训练、量化推理等方法。这些技术在不同程度上减小了模型的大小、提高了推理的速度、降低了训练的能耗。
从上一期Faster RCNN的算法原理上，我们知道Faster RCNN算法有两部分，一个是用来提取候选框的RPN网络，一个是最后检测目标的分类回归网络。通过学习，我们知道RPN网络在提取候选框的时候有两个任务，一个是判断该anchor产生的候选框是否是目标的二分类任务，另一个是对该候选框进行边框回归的回归任务。 而Faster RCNN最后的目标检测网络同样也有两个任务，跟RPN网络类似，一个是判断RPN网络产生的候选框框住的物体是具体哪一类物体的分类任务，另一个是对该候选框进行回归的回归任务。 既然两个网络都是多任务网络，那么，我们先看看RPN网络的损失函数是怎么样的？先上RPN网络的总体损失函数，接下来分析，如下（公式可左右滑动）：
前不久，我们报道了谷歌给出首个神经网络训练理论的证明。这一研究在训练深度神经网络被戏谑为 “调参炼丹” 的当下，犹如一道希望的强光，射进还被排除在 “科学” 之外的深度学习领域，激动人心。
Human-Object Interaction(HOI)检测是识别图像中“人-物-交互”的任务，涉及到：1）交互作用中的主体（人）和目标（对象）的定位；2）以及交互标签的分类。 大多数现有的方法都通过检测人和对象实例，然后单独推断检测到的每一对实例的关系来间接解决这个任务。
机器之心分析师网络 作者：仵冀颖 编辑：H4O 本文聚焦于研究和开发可解释性工具的内容，对AAAI-2022《Tutorial on Explanations in Interactive Machine Learning》提及的三类可解释性工具/方法（局部可解释性、规则可解释性、概念可解释性）进行了解读，重点了解可解释性工具和方法的最新研究进展。 1 背景 近年来，学术界、工业界以及政府部门对 AI 伦理的重视程度日益加强，从 AI 伦理监管政策到 AI 伦理技术手段，提升 AI 伦理合规性和打造 AI
动机 尽管两阶段检测器取得了成功，那么问题就是:一个简单的单阶段能达到类似的精度吗?单阶段应用于目标位置、尺度和纵横比的常规、密集采样。最近在YOLO和SSD等单阶段上的研究显示出了很有前景的结果，与
前不久，新智元报道了谷歌给出首个神经网络训练理论的证明。这一研究在训练深度神经网络被戏谑为 “调参炼丹” 的当下，犹如一道希望的强光，射进还被排除在 “科学” 之外的深度学习领域，激动人心。
机器之心原创 参与：吴攀、QW 一年一度的谷歌开发者大会 Google I/O 在山景城成功举行，在首日的 Keynote 中，谷歌宣布了一系列新的硬件、应用、基础研究等。而作为 AI First 的开发者大会，Google I/O 也自然安排了许多有关机器学习开发的内容，比如《教程 | 如何使用谷歌 Mobile Vision API 开发手机应用》。当然毋庸置疑，TensorFlow 也是本届 I/O 大会的关键核心之一。当地时间 18 日下午，谷歌 TensorFlow 开发者支持 Josh Gor
线性回归：进行直线或曲线拟合，一般使用“最小二乘法”来求解。最小二乘法将最优问题转化为求函数极值问题。函数极值在数学上我们一般会采用求导数为0的方法。 但这种做法并不适合计算机，可能求解不出来，也可能计算量太大。计算机科学界专门有一个学科叫“数值计算”，专门用来提升计算机进行各类计算时的准确性和效率问题。
版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/chaipp0607/article/details/78458883
我们提出了一个使用卷积网络进行分类、定位和检测的集成框架。我们认为在一个卷积网络中可以有效地实现多尺度和滑动窗口方法。我们还介绍了一种新的深度学习方法，通过学习预测目标的边界来定位。然后，为了增加检测的置信度，对边界框进行累积而不是抑制。我们证明了使用一个共享网络可以同时学习不同的任务。该集成框架是ImageNet Large scale evisual Recognition Challenge 2013 (ILSVRC2013)定位任务的获胜者，在检测和分类任务上获得了非常有竞争力的结果。在比赛后的工作中，我们为检测任务建立了一个新的技术状态。最后，我们从我们最好的模型中发布了一个名为OverFeat的特性提取器。
选自arXiv 作者：Ziang Yan等 机器之心编译 参与：刘晓坤、黄小天 本文提出了一个名为 DeepDefense 的训练方案，其核心思想是把基于对抗性扰动的正则化项整合进分类目标函数，从而使模型可以学习直接而精确地防御对抗性攻击。在 MNIST、CIFAR-10 和 ImageNet 上的扩展实验证明了该方法可以显著提高不同深度学习模型对高强度对抗攻击的鲁棒性，同时还不会牺牲准确率。 虽然深度神经网络（DNN）在许多挑战性的计算机视觉任务中都取得了当前最优的表现，但在对抗样本（在人类感知上和真实图
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
