NeuralTalk2---自动产生图片的语句描述

最近被逼看了点自然语言处理(NLP)的论文,好吧我看不懂,本来我就不是搞这个方向的,说的我迷迷糊糊的,哎,隔行如隔山啊

不过在过程中倒也是收获到了一些东西,比如今天的这篇博客,怎样自动的去产生图片的语句描述???

就是:

我给你张图,你给我自动生成描述这张图片的文字

具体如下:

这个理论说起来实际很高端,涉及到神经网络,自然语言处理等方方面面的知识,推荐几篇论文有兴趣的可以看看:

  1. Deep Visual-Semantic Alignments for Generating Image Descriptions
  2. how and Tell: A Neural Image Caption Generator
  3. Learning the Visual Interpretation of Sentences
  4. BringSemantics Into Focus Using Visual Abstraction
  5. Every Picture Tells a Story: Generating Sentences from Images

这里就不说具体是怎么实现的了,好吧,其实是我也看不懂。。。。。。。

NeuralTalk2

现在有开源的实现,具体理论来源于上面的论文1和2

NeuralTalk2是其开源的实现,大家可以看下它的安装要求,依赖还是很多的,由于使用了VGG16的网络,所以你需要一块GPU,什么???没有GPU????送你三个字:买买买

重要的事情要强调:CPU无法运行,必须上GPU

我的实验环境是:

CPU:Intel Xeon(4*3.3GHZ) GPU:Titan X(12GB) Memory:32GB(DDR4)

原始版本,NeuralTalk,是使用python编写,相比NeuralTalk,NeuralTalk2的不同点是:

Compared to the original NeuralTalk this implementation is batched, uses Torch, runs on a GPU, and supports CNN finetuning. All of these together result in quite a large increase in training speed for the Language Model (~100x), but overall not as much because we also have to forward a VGGNet. However, overall very good models can be trained in 2-3 days, and they show a much better performance.

安装依赖

依赖有一堆,我安装的时候就卡在了其中的某一个环节,好在最终还是解决了,这也是我写这篇博客的动力,希望有这个需求的人不要连安装都像我一样走了很多弯路,甚至都搞不定

主要就是按照README所说的去一步步安装:

安装Torch

$ curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash
$ git clone https://github.com/torch/distro.git ~/torch --recursive
$ cd ~/torch; 
$ ./install.sh      # and enter "yes" at the end to modify your bashrc
$ source ~/.bashrc

这个没什么说的,搞定以后,你会在你的额bashrc文件下看到类似这样的一行:

. /home/work-station/torch/install/bin/torch-activate

安装其它依赖

$ luarocks install nn
$ luarocks install nngraph 
$ luarocks install image 

安装CJson

cjson下载连接,先将它下载下来lua-cjson-2.1.0.tar.gz,之后解压,进入目录,安装即可

$ tar -xzvf  lua-cjson-2.1.0.tar.gz
$ cd lua-cjson-2.1.0
$ luarocks make

安装CUDA

CUDA下载地址,下载之后安装就可以,deb包很容易的,大家可以参照这个博客安装,几部就搞定了

安装CUDNN

我当时就是在这个位置出问题的,我的机子之前安装caffe的时候安装过cuda和cudnn,我把所有的都安装完,开始跑示例的时候,这个时候出错了:

These bindings are for version 4005 or above, while the loaded CuDNN is version: 4004 Are you using an older version of CuDNN?

意思很明显,就是cudnn版本低了 好吧,开始版本升级中,中间参照了这个帖子,但是依然没解决我的问题,最后终于让我搞定了,特此记录

Step 1:删除/usr/local/lib/下的所有以libcudnn开头的so文件和链接文件,比如libcudnn.so.7.0.58 Step 2:下载最新版本的cudnn,下载地址最后给出,首先要注册,过几天Nvidia才会给你下载权限 Step 3:假设你已经下载了最新版本的cudnn,假设是* cudnn-7.0-linux-x64-v4.0-prod.tgz*,不说了解压, 进入cuda目录,执行: $ sudo cp include/* /usr/local/cuda/include/ $sudo cp lib64/* /usr/local/cuda/lib64/ 搞定

安装loadcaffe

$ sudo apt-get install libprotobuf-dev protobuf-compiler
$ luarocks install loadcaffe

安装h5py

$ sudo pip install h5py

下载模型预测图片

模型下载地址,下载解压就可以

准备好你的图片,之后执行:

 th eval.lua -model /path/to/model -image_folder /path/to/image/directory -num_images 10 

写上你的model文件的路径和图片文件夹的路径,如果你想预测所有的图片将: -num_images 10 改为-num_images -1

启动httpServer

预测之后会在你的vis文件夹下生成vis.json文件在imgs中会有你预测的图片:

启动server:

$ cd vis
$ python -m SimpleHTTPServer

浏览器访问:

localhost:8000,就可以看见了

我的结果

我随机从百度上下了6个图片,预测结果是这样的:

看的出来,结果还是很准的

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

开源 | 基于Python的人脸识别:识别准确率高达99.38%!

该库使用 dlib 顶尖的深度学习人脸识别技术构建,在户外脸部检测数据库基准(Labeled Faces in the Wild benchmark)上的准确率...

4507
来自专栏SIGAI学习与实践平台

Eager Mode,写在TensorFlow 2.0 到来之前

本文主要讲解了在编写基于TensorFlow的应用过程中如何使用Eager Mode。内容主要包括

811
来自专栏FreeBuf

使用Python和Tesseract来识别图形验证码

各位在企业中做Web漏洞扫描或者渗透测试的朋友,可能会经常遇到需要对图形验证码进行程序识别的需求。很多时候验证码明明很简单(对于非互联网企业,或者企业内网中的应...

4635
来自专栏大数据智能实战

微软开源认知服务CNTK的测试(语音训练)

前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。 看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里...

2575
来自专栏吉浦迅科技

当Intel的神经棒遇到NVIDIA的Jetson TX2

5685
来自专栏IT大咖说

小米深度学习平台架构与实现

摘要 深度学习的概念源于人工神经网络的研究,含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的...

3856
来自专栏CVer

重磅:TensorFlow实现YOLOv3(内含福利)

YOLO官网:YOLO: Real-Time Object Detection keras-yolo3:https://github.com/qqwweee/k...

8.7K16
来自专栏ATYUN订阅号

【框架】为降低机器学习开发者门槛,苹果发布了Turi Create框架

近日,苹果在GitHub上发布了Turi Create框架。苹果表示,这个框架旨在通过简化机器学习模型的开发,降低开发者构建模型的门槛。详细说明如下: Turi...

3486
来自专栏人人都是极客

第三课:把tensorflow,模型和测试数据导入Android工程

关于Android项目的创建这里就不做赘述了,我们直接进入主题,看下如何把机器学习库和训练的模型导入一个安卓应用中。 导入 Inference Interfac...

37012
来自专栏新智元

【干货】TensorFlow 高阶技巧:常见陷阱、调试和性能优化

【新智元导读】文本将介绍一些 TensorFlow 的操作技巧,旨在提高你的模型性能和训练水平。文章将从预处理和输入管道开始,覆盖图、调试和性能优化的问题。 预...

44912

扫码关注云+社区