【技术】使用深度学习自动为图像添加字幕(PyTorch)

AiTechYun

编辑:yuxiangyu

深度学习现在发展十分迅猛,每天都会出现多种应用程序。而想要了解深度学习的最好方法就是亲自动手。尽可能尝试自己做项目。这将帮助你更深入地了解它们,并帮助你成为更好的深度学习实践者。

在本文中,我们将结合图像和文本处理来构建一个有用的深度学习应用程序,即图像字幕(Image Captioning)。它是指从图像生成文本描述的过程,主要根据图像中物体和物体的动作。例如:

这个应用在现实生活中有很多潜在的应用场景。要注意保存图像的文本描述,以便在稍后的阶段就可以根据此描述轻松检索。

图像字幕需要做什么?

假设你看到这张照片:

你会首先想到什么呢?也许通常人们可以想出以下几句话:

一个男人和一个女孩坐在地上吃东西。

一个男人和一个小女孩坐在人行道上,靠近一个蓝色的袋子吃东西。

一个穿着黑衬衫的男人和穿橙色连衣裙的小女孩分享一种吃的。

快速浏览一下就足以让你了解和描述图片中发生的事情。从人工系统自动生成这个文本描述就是图像字幕的任务。

任务很简单:生成的输出期望用单个句子描述图像中显示的内容,如物体的存在,它的属性,它正在进行的动作以及对象之间的交互等。但是,要在与任何其他图像处理问题一样,用人工系统复制这种行为是个极为艰巨的任务,因此我们使用复杂和先进的技术(如深度学习)来解决任务。

解决任务的方法

图像字幕的任务从逻辑上可以分为两个模块:一个是基于图像的模型,从图像中提取特征和细微差别,另一个是基于语言的模型,它将第一个模块的所给出的特征和对象转换为的自然语句。

对于我们的基于图像的模型(编码器),我们通常依赖于CNN。对于我们的基于语言的模型(解码器) – 我们依赖于RNN。如下图所示:

在通常情况下,预训练的CNN从我们的输入图像中提取特征。特征向量线性转换后,与RNN/LSTM网络的输入维数相同。这个网络被训练成特征向量的语言模型。

为了训练我们的LSTM模型,我们预定义了我们的标签和目标文本。例如,如果字幕是“A man and a girl sit on the ground and eat”,我们的标签和目标如下:

这样做是为了让我们的模型理解标签序列的开始和结束。

实现

下面我将使用Pytorch进行图像字幕的实现。我们将图像作为输入,并使用深度学习模型预测其描述。

完整代码:https://github.com/yunjey/pytorch-tutorial/tree/master/tutorials/03-advanced/image_captioning

我们使用预训练的 resnet-152模型作为编码器,而解码器是LSTM网络。

要运行本例中给出的代码,首先要必须有一个工作的python环境,最好安装了anaconda。然后运行以下命令以安装其他需要的库。

git clone https://github.com/pdollar/coco.git
cd coco/PythonAPI/
make
python setup.py build
python setup.py install
cd ../../
git clone https://github.com/yunjey/pytorch-tutorial.git
cd pytorch-tutorial/tutorials/03-advanced/image_captioning/
pip install-r requirements.txt

设置完系统后,应下载训练模型所需的数据集。这里我们将使用MS-COCO数据集。要自动下载数据集,可以运行以下命令:

chmod+ x download.sh
./download.sh

现在你可以继续构建你的模型了。首先,你必须处理输入:

# Search for all the possible words in the dataset and
# build a vocabulary list
python build_vocab.py  
# resize all the images to bring them to shape 224x224
python resize.py

现在你可以运行以下命令开始训练模型:

python train.py --num_epochs 10 --learning_rate 0.01

只要查看并查看我们怎样在背后定义我们的模型,可以参考model.py文件中编写的代码 。

import torch
import torch.nn as nn
import torchvision.models as models
from torch.nn.utils.rnnimport pack_padded_sequence
from torch.autogradimport Variable
class EncoderCNN(nn.Module):
    def __init__(self, embed_size):
        """Load the pretrained ResNet-152 and replace top fc layer."""
        super(EncoderCNN,self).__init__()
        resnet= models.resnet152(pretrained=True)
        modules= list(resnet.children())[:-1]     # delete the last fc layer.
        self.resnet= nn.Sequential(*modules)
        self.linear= nn.Linear(resnet.fc.in_features, embed_size)
        self.bn= nn.BatchNorm1d(embed_size, momentum=0.01)
        self.init_weights()
    def init_weights(self):
        """Initialize the weights."""
        self.linear.weight.data.normal_(0.0,0.02)
        self.linear.bias.data.fill_(0)
    def forward(self, images):
        """Extract the image feature vectors."""
        features= self.resnet(images)
        features= Variable(features.data)
        features= features.view(features.size(0),-1)
        features= self.bn(self.linear(features))
        return features
class DecoderRNN(nn.Module):
    def __init__(self, embed_size, hidden_size, vocab_size, num_layers):
        """Set the hyper-parameters and build the layers."""
        super(DecoderRNN,self).__init__()
        self.embed= nn.Embedding(vocab_size, embed_size)
        self.lstm= nn.LSTM(embed_size, hidden_size, num_layers, batch_first=True)
        self.linear= nn.Linear(hidden_size, vocab_size)
        self.init_weights()
    def init_weights(self):
        """Initialize weights."""
        self.embed.weight.data.uniform_(-0.1,0.1)
        self.linear.weight.data.uniform_(-0.1,0.1)
        self.linear.bias.data.fill_(0)
    def forward(self, features, captions, lengths):
        """Decode image feature vectors and generates captions."""
        embeddings= self.embed(captions)
        embeddings= torch.cat((features.unsqueeze(1), embeddings),1)
        packed= pack_padded_sequence(embeddings, lengths, batch_first=True)
        hiddens, _= self.lstm(packed)
        outputs= self.linear(hiddens[0])
        return outputs
    def sample(self, features, states=None):
        """Samples captions for given image features (Greedy search)."""
        sampled_ids= []
        inputs= features.unsqueeze(1)
        for iin range(20):                                   # maximum sampling length
            hiddens, states= self.lstm(inputs, states)       # (batch_size, 1, hidden_size),
            outputs= self.linear(hiddens.squeeze(1))         # (batch_size, vocab_size)
            predicted= outputs.max(1)[1]
            sampled_ids.append(predicted)
            inputs= self.embed(predicted)
            inputs= inputs.unsqueeze(1)                      # (batch_size, 1, embed_size)
        sampled_ids= torch.cat(sampled_ids,1)               # (batch_size, 20)
        return sampled_ids.squeeze()

现在我们可以使用以下命令进行测试:

python sample.py--image= ' png / example.png '

对于我们的示例图像,我们的模型给了我们这个输出:

<start> a group of giraffes standing in a grassy area . <end>

我们上面看到的模型只是冰山一角。目前,图像字幕中最先进的模型是微软的CaptionBot。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

三步教你搭建给黑白照片上色的神经网络 !(附代码)

来源:量子位 本文长度为7970字,建议阅读8分钟 本文为你介绍通过搭建神经网络,来给黑白照片上色的教程。 深度学习云平台FloydHub最近在官方博客上发了一...

5409
来自专栏ATYUN订阅号

适合开发者的深度学习:第一天就能使用的编码神经网络工具

当前的深度学习浪潮在五年前就开始了。深度学习是驱动汽车的技术,也可以在Atari游戏中击败人类,甚至能够诊断癌症。 深度学习是机器学习的一个分支。它被证明是一种...

3716
来自专栏目标检测和深度学习

教程 | 从零开始PyTorch项目:YOLO v3目标检测实现(下)

1992
来自专栏人工智能LeadAI

C++实现神经网络之一 | Net类的设计和神经网络的初始化

闲言少叙,直接开始 既然是要用C++来实现,那么我们自然而然的想到设计一个神经网络类来表示神经网络,这里我称之为Net类。由于这个类名太过普遍,很有可能跟其他人...

3275
来自专栏机器学习从入门到成神

机器学习之Validation(验证,模型选择)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

1562
来自专栏PPV课数据科学社区

Keras入门必看教程(附资料下载)

导语:在这篇 Keras 教程中, 你将学到如何用 Python 建立一个卷积神经网络!事实上, 我们将利用著名的 MNIST 数据集, 训练一个准确度超过 9...

4427
来自专栏小小挖掘机

windows下使用word2vec训练维基百科中文语料全攻略!(三)

训练一个聊天机器人的很重要的一步是词向量训练,无论是生成式聊天机器人还是检索式聊天机器人,都需要将文字转化为词向量,时下最火的词向量训练模型是word2vec,...

3695
来自专栏大数据挖掘DT机器学习

写一只具有识别能力的图片爬虫

在网上看到python做图像识别的相关文章后,真心感觉python的功能实在太强大,因此将这些文章总结一下,建立一下自己的知识体系。 当然了,图像识别这个话题...

5615
来自专栏人工智能头条

Google | 用神经网络作画

892
来自专栏人工智能LeadAI

TF使用例子-情感分类

这次改写一下,做一个简单的分类模型和探讨一下hidden layer在聚类的应用场景下会有什么效果。为了能写的尽可能让读者理解,本文也会写一下keras来实现(...

5653

扫码关注云+社区

领取腾讯云代金券