Siamese和Chinese有点像。Siam是古时候泰国的称呼，中文译作暹罗。Siamese也就是“暹罗”人或“泰国”人。Siamese在英语中是“孪生”、“连体”的意思，这是为什么呢？
基于2-channel network的图片相似度判别 原文地址：http://blog.csdn.net/hjimce/article/details/50098483 作者：hjimce 一、相关理论 本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章：《Learning to Compare Image Patches via Convolutional Neural Networks》，本篇文章对经典的算法Siamese Networks 做了改进。学习这篇pape
目标跟踪是计算机视觉的基本任务之一，近年来随着大量跟踪数据库如OTB,VOT,LASOT,GOT10K的提出，以及VOT比赛的推广，单目标跟踪领域迅速发展。而这其中siamese跟踪算法由于其在速度和精度之间很好的平衡而逐渐成为单目标跟踪研究中最火的方向。然而在今年之前，siamese跟踪算法仍然是只是基于浅层的AlexNet，深层网络不但没有帮助反而会使效果下降。在CVPR19中，我们通过对网络结构属性的分析，提出网络padding, 感受野, 特征输出大小，stride是影响加深网络的关键。进而我们提出了适用于跟踪siamese网络的crop-in-residual模块，通过堆积模块加深网络，使深层siamese网络在跟踪上效果有了显著提高。本次分享会上我们：
在孪生网络中，我们把一张图片$X_1$作为输入，得到该图片的编码$G_W(X_1)$。然后，我们在不对网络参数进行任何更新的情况下，输入另一张图片$X_2$，并得到改图片的编码$G_W(X_2)$。由于相似的图片应该具有相似的特征（编码），利用这一点，我们就可以比较并判断两张图片的相似性
Siamese原意是”泰国的，泰国人”，而与之相关的一个比较常见的词是”Siamese twin”， 意思是是”连体双胞胎”，所以Siamemse Network是从这个意思转变而来，指的是结构非常相似的两路网络，分别训练，但共享各个层的参数，在最后有一个连接的部分。Siamese网络对于相似性比较的场景比较有效。此外Siamese因为共享参数，所以能减少训练过程中的参数个数。这里的slides讲解了Siamese网络在深度学习中的应用。这里我参照Caffe中的Siamese文档， 以LeNet为例，简单地总结下Caffe中Siamese网络的prototxt文件的写法。
Siamese网络是一种特殊类型的神经网络，也是最简单和最常用的一次性学习算法之一。
早在上个世纪90年代的时候，LeCun等研究人员就开始利用神经网络陆续进行一些研究，比如我们熟知的大名鼎鼎的LeNet5，但这绝不是唯一，今天我们来说他们的另一种网络结构，Siamese Network，网络细节我们后面这些，这里先说应用背景。
论文地址：http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_High_Performance_Visual_CVPR_2018_paper.pdf
哈喽，大家好，今天我将和你一起研读CV领域中一篇2021 CVPR的论文《SiamMOT: Siamese Multi-Object Tracking》，该篇论文由Amazon亚马逊研究团队发布。我将按照论文内容格式，给大家梳理论文中每一部分的内容精华。闲言少叙，我们进入正题：
本文为52CV群友Mr.Chen投稿，深入解读了CVPR 2019 跟踪方向的论文Deeper and Wider Siamese Networks for Real-Time Visual Tracking，谷歌学术显示该文公开一年来已有47个引用，值得做相关方向的同学参考。
以这个孪生网络入门，我想着分成上下两篇，上篇也就是这一篇讲解模型理论、基础知识和孪生网络独特的损失函数；下篇讲解一下如何用代码来复线一个简单的孪生网络。
本文主要记录用Anchor Free的思想来解决上述目标跟踪状态估计中存在的问题。目前比较主流的都是基于FCOS和CenterNet两种无锚框方式展开的。
隐式神经表征 (INRs) 已经成为一种很有前景的表示各种数据模式的方法，包括3D形状、图像和音频。虽然最近的研究已经证明了 INRs 在图像和 3D 形状压缩方面的成功应用，但它们在音频压缩方面的潜力仍未得到充分开发。基于此，本文提出了一项关于使用 INRs 进行音频压缩的初步研究。
如今，机器学习的应用广泛，包括人脸识别、医疗诊断等，为复杂问题和大量数据提供解决方案。机器学习算法能基于数据产生成功的分类模型，但每个数据都有其问题，需定义区别特征进行正确分类。常用的机器学习算法包括k最近邻、支持向量机和朴素贝叶斯分类器，但需注意特征加权和数据转换。
最近在多个关键词（小数据集，无监督半监督，图像分割，SOTA模型）的范畴内，都看到了这样的一个概念，孪生网络，所以今天有空大概翻看了一下相关的经典论文和博文，之后做了一个简单的案例来强化理解。
这一篇文章感觉是不错的，大概的流程是，对好的图像经过不同级别的失真操作，得到一系列的图像，然后把不同失真程度的图像对输入到siamese net中训练。是一个non-reference的框架。
由于动态环境中激光雷达点的稀疏性，点云中的三维目标跟踪仍然是一个具有挑战性的问题。在本文中，我们提出了一种voxel-to-BEV跟踪器，它可以显著提高稀疏三维点云的跟踪性能。具体来说，它由Siamese形状感知特征学习网络和voxel-to-BEV目标定位网络组成。Siamese形状感知特征学习网络可以获取目标的三维形状信息，学习目标的判别特征，从而识别出稀疏点云背景中的潜在目标。为此，我们首先进行模板特征嵌入，将模板的特征嵌入到潜在目标中，然后生成密集的三维形状来表征潜在目标的形状信息。对于跟踪目标的定位，体素-BEV目标定位网络以无锚的方式将目标的二维中心和z轴中心从稠密鸟瞰(稠密鸟瞰)特征地图上回归。具体来说，我们通过最大池化将体素化后的点云沿z轴压缩，得到稠密的BEV特征图，可以更有效地进行二维中心与z轴中心的回归。对KITTI和nuScenes数据集的广泛评价表明，我们的方法明显优于目前最先进的方法。
近年来Siamese网络在单目标跟踪中发展迅速，在近两年的VOT比赛和顶会中Siamese大放异彩。讲者张志鹏将分享经典的siamese跟踪论以及近期的进展。
得益于大规模的训练数据，基于Siamese的目标跟踪的最新进展已经在普通序列上取得了引人注目的结果。 而基于Siamese的跟踪器假定训练和测试数据遵循相同的分布。 假设有一组有雾或有雨的测试序列，不能保证在正常图像上训练的跟踪器在其他领域的数据上表现良好。 训练数据和测试数据之间的域转移问题已经在目标检测和语义分割领域进行了讨论，但在视觉跟踪方面尚未进行研究。 为此，在Siamese++的基础上，我们引入了域适配Siamese++，即DASiamRPN++，以提高跟踪器的跨域可移植性和鲁棒性。 在
注：本文选自人脸图像资深工程师言有三出版的新书《深度学习之人脸图像处理：核心算法与案例实战》（机械工业出版社出版）的6.2节，略有改动。经授权刊登于此。
本文提出了一种无监督的视觉跟踪方法。与使用大量带注释数据进行监督学习的现有方法不同，本文的CNN模型是在无监督的大规模无标签视频上进行训练的。动机是，强大的跟踪器在向前和向后预测中均应有效（即，跟踪器可以在连续帧中向前定位目标对象，并在第一个帧中回溯到其初始位置）。在Siameses相关过滤器网络上构建框架，该网络使用未标记的原始视频进行训练。同时提出了一种多帧验证方法和一种对成本敏感的损失，以促进无监督学习。由于没有bells & whistles，本文的无监督跟踪器可达到完全受监督的在训练过程中需要完整且准确的标签的跟踪器的基线精度。此外，无监督框架在利用未标记或标记较弱的数据以进一步提高跟踪准确性方面具有潜力。
考虑本身数据集的一些特点，针对表达多样性，语言噪音，同义词，人工标注等，参考数据增强的一些做法。
【导读】本文是数据科学家Marc-Olivier Arsenault撰写的一篇博文，主要讲解了在Siamese网络中使用Lossless Triplet Loss。尽管Google的FaceNet利用Triplet Loss效果显著，但作者认为，原来网络中triplet_loss函数存在一定的瑕疵：“每当你的损失小于0时，损失函数就不能提供任何信息”。为解决这种问题，作者构建一个能够捕捉到小于0的损失——Lossless Triplet Loss。在文中充分分析了不同传统Triplet Loss及其变体的不
论文地址： http://arxiv.org/pdf/2008.12134v1.pdf
在之前那篇 NLP 表征的历史与未来[1] 里，我们几乎从头到尾都在提及句子表征，也提出过一个很重要的概念：“句子” 才是语义理解的最小单位。不过当时并没有太过深入细节，直到做到文本相似度任务时才发现早已经有人将其 BERT 化了。
CVPR 2022 论文尚没有完全公布，今日推荐10篇已出目标跟踪方向的论文，既有单目标跟踪也有多目标跟踪，还有无人机视觉中的跟踪问题，基于Transformer 的跟踪，点云目标跟踪，还有多目标跟踪的新范式：具有记忆的模型，和新的可见光-热成像基准数据集等。
Ranking Loss被用于很多领域和神经网络任务中（如 孪生网络Siamese Nets 或 Triplet Nets），这也是它为什么拥有 Contrastive Loss、Margin Loss、Hinge Loss 或 Triplet Loss 等这么多名字的原因。
上周末参加了在云南昆明举办的“第十八届中国计算语言学大会”（The Eighteenth China National Conference on Computational Linguistics, CCL 2019）。CCL作为国内最好的NLP会议之一，笔者收获满满，感触颇深。于是写下这篇文章，和大家分享之所见所闻。
论文链接：https://arxiv.org/pdf/2006.10721.pdf
SiameseRPN：High Performance Visual Tracking with Siamese Region Proposal Network SiameseFC成功使用孪生网络成功解决SOT问题，虽然它不是真正意义上的第一个使用Siamese结果的SOT算法，但是SiameseFC之于SOT，就像SORT之于MOT，RCNN之于目标检测，甚至AlexNet之于CNN一样。 但是SiameseFC有一个致命的问题，无法适应尺度变化。就像最早的目标检测一样，当不是用SS做区域建议时，怎么解决目标尺度变化的问题：Faster R-CNN的RPN； SiameseRPN就是在SiameseFC的基础上引入PPN，处理SOT中的目标尺度变化； SiameseRPN用的是和SiameseFC非常相似的主干网络，最后输出的厚度不同，SiameseFC为128，SiameseRPN为256，同样no padding； SiameseRPN相比于SiamFC，精度更高，速度更快（160fps：86fps），速度快是因为SiameseRPN不需要多尺度；
人脸识别面临的挑战：要解决一次学习问题，通过单单 一张图片/人脸 就能去识别这个人
由于存在遮挡、光照变化、尺度变化等一些列问题，单目标跟踪的实际落地应用一直都存在较大的挑战。过去两年中，商汤智能视频团队在孪生网络上做了一系列工作，包括将检测引入跟踪后实现第一个高性能孪生网络跟踪算法的 SiamRPN（CVPR 18），更好地利用训练数据增强判别能力的 DaSiamRPN（ECCV 18），以及最新的解决跟踪无法利用到深网络问题的 SiamRPN++（CVPR 19）。其中 SiamRPN++ 在多个数据集上都完成了 10% 以上的超越，并且达到了 SOTA 水平，是当之无愧的目标跟踪最强算法。
在上一篇文章中已经讲解了Siamese Net的原理，和这种网络架构的关键——损失函数contrastive loss。现在我们来用pytorch来做一个简单的案例。经过这个案例，我个人的收获有到了以下的几点：
本文提供 MMTracking 里单目标跟踪（SOT）任务的食用指南。后续单目标跟踪的食用指南也在路上哦～
SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks Bo Li *, Wei Wu *, Qiang Wang *, Fangyi Zhang, Junliang Xing, Junjie Yan The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, June 2019. (Oral)
AI 前线导读： 商汤科技智能视频团队首次开源其目标跟踪研究平台 PySOT。PySOT 包含了商汤科技 SiamRPN 系列算法，以及刚被 CVPR2019 收录为 Oral 的 SiamRPN++。本文将独家解读目标跟踪最强算法 SiamRPN 系列。
AI 科技评论消息，日前，商汤科技智能视频团队首次开源其目标跟踪研究平台 PySOT。PySOT 包含了商汤科技 SiamRPN 系列算法，以及刚被 CVPR2019 收录为 Oral 的 SiamRPN++。此篇文章将独家解读目标跟踪最强算法 SiamRPN 系列。
SiamMOT是一个online的多目标跟踪（MOT）算法，SiamMOT: Siamese Multi-Object Tracking作者来自亚马逊团队，SiamMOT是ACM2020 Hieve竞赛行人多目标跟踪赛道的第一名，同时是ICCV2021 airmot竞赛的baseline。 顾名思义，SiamMOT将SOT中siamese的思想引入MOT中，文中把这个过程叫做instance-level motion model。
不管是传统的目标跟踪中的生成模型和判别模型，还是用深度学习来做目标跟踪，本质上都是来求取目标区域与搜索区域的相似度，这就是典型的多输入。
然后输出两张图片的差异值--如果你放进同一个人的两张照片，你希望他能输出一个很小的值，如果你放进两个长相差别很大的人的照片
BERT和RoBERTa在文本语义相似度（Semantic Textual Similarity）等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时送入网络，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C_{10000}^2=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务，例如聚类
在合适的时间把合适的内容推荐给合适的用户是推荐系统的重要目标，这个目标离不开推荐系统对用户和内容的充分理解。
SiameseFC：Fully-Convolutional Siamese Networks for Object Tracking SiameseFC：Fully首次有效的将CNN应用到SOT任务，可以说SiameseFC：Fully之于SOT，不亚于RCNN之于object detection； SiameseFC：Fully之前的SOT任务一般使用简单模型在线训练，SiameseFC：Fully的训练是离线的，所以效果和效率能很好的平衡； SiameseFC：Fully是全卷积的结构，所以理论上可以接收任何尺寸的输入图像； SiameseFC：Fully在VOT-15上当时达到SOTA，但是训练是在ILSVRC object detection from video challenge上，因为VOT，ALOV和OTB加起来视频也不到500个；
来源：Deephub Imba 本文约1100字，建议阅读9分钟 本文介绍了使用带掩码的网络如何进行自监督学习。 最近自我监督学习被重视起来。昨天我通过LinkedIn发现了这项工作，我觉得它很有趣。kaiming大神的MAE为ViT和自监督的预训练创造了一个新的方向，本篇文章将介绍Masked Siamese Networks (MSN)，这是另一种用于学习图像表示的自监督学习框架。MSN 将包含随机掩码的图像视图的表示与原始未遮蔽的图像的表示进行匹配。 考虑一个大的未标记图像集D = (x_i)和一个
模块注册机制基于注册器和构建器，可以轻松地进行模块拓展，而不需要在原有框架代码中进行改动。使用注册器管理字符串到类的映射，其中支持注册的模块类型包括但不限于模型结构、数据预处理模块、优化器。使用构建器可以将配置文件转换成对应的模块，其提供了灵活的构建方式，使得可以构建定制化的训练流水线。模块注册机制的另一特性是采用分层策略划分模块的注册域，不仅能够避免跨项目间同名模块的冲突，也能够支持跨项目间模块的相互调用。
在学习如何编写基于Java的软件时，开发人员遇到的第一个障碍就是如何将其代码与其他软件连接。 这通常是JSON的来源。虽然您可能是Java向导，但JSON是另一种动物。 无论如何，这篇博客文章解释了完成工作所需的一切。
最近自我监督学习被重视起来。昨天我通过LinkedIn发现了这项工作，我觉得它很有趣。kaiming大神的MAE为ViT和自监督的预训练创造了一个新的方向，本篇文章将介绍Masked Siamese Networks (MSN)，这是另一种用于学习图像表示的自监督学习框架。MSN 将包含随机掩码的图像视图的表示与原始未遮蔽的图像的表示进行匹配。
SOT的思想是，在视频中的某一帧中框出你需要跟踪目标的bounding box，在后续的视频帧中，无需你再检测出物体的bounding box进行匹配，而是通过某种相似度的计算，寻找需要跟踪的对象在后续帧的位置，如下动图所示（图中使用的是本章所讲siameseFC的升级版siameseMask），常见的经典的方法有KCF[4]等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
