深度学习表征的不合理有效性——从头开始构建图像搜索服务（二）

接着上篇《深度学习表征的不合理有效性——从头开始构建图像搜索服务（一）》的内容，上次遇到的问题是搜索相似图的时候还是会出现瑕疵，因此本文介绍相关的处理办法。半监督搜索解决上文问题的常用方法是，首先使用目标检测模型，检测猫图像，然后对原始图像裁剪之后再进行图像搜索，这样做会很大程度地增加计算开销，如果可能的话，希望能够避免这种开销。

加权嵌入根据Imagenet，Siamesecat中的284类权衡激活，来研究它是如何工作的。正在搜索类似的图像todataset/bottle/2008_000112.jpg使用加权特征：

图像13

可以看到，搜索一直偏向于寻找Siamesecat的照片，而不再展示任何的瓶子图像，此外，可能会注意到最后一张照片是一只羊！这就非常有趣了，此时的模型又导致了另外一种不同类型的错误，但模型更适合目前的任务需求。

这是修改后模型的样子：

训练模型在数据集的训练集上重新训练我们的模型，以学习预测与图像标签相关联的单词向量。例如，对于具有类别cat的图像，尝试预测与cat相关联的300长度向量。训练需要一些时间，但这仍然要比Imagenet训练快得多。与通常的数据集相比，本文使用的训练数据（数据集的80％作为训练集，即800个图像）是微不足道的（Imagenet有一百万张图像）。

搜索dog术语的结果结果相当不错，但是我们可以从标签上训练的任何分类器中都得到这个！搜索ocean术语的结果。模型了解ocean与water类似，并从boat类中返回许多物品。搜索街道又会发生什么呢？

搜索“street”的结果从图中可以看到，返回的图像来自各种类别（car，dog，bicycle,bus,person），但大多数图像都包含或靠近街道，尽管我们在训练模型时从未使用过这个概念。因为通过预先训练的单词向量，利用外部知识来学习比简单类别在语义上更丰富的图像向量映射，所以模型可以很好地概括为外部概念。无以言表英语虽然已经发展了很久，但还不足以为一切都有对应的词。

多个单词的组合嵌入下面使用混合嵌入搜索