基于tensorflow的视觉问答系统构建
基于tensorflow的视觉问答系统构建
视觉问答（Visual Question Answering，VQA），是多模态数据挖掘的前沿应用之一，里面涉及计算机视觉和自然语言处理的学习任务。VQA系统需要将图片和问题作为输入，结合这两部分信息，产生一条人类语言作为输出。针对一张特定的图片，如果想要机器以自然语言来回答关于该图片的某一个特定问题，我们需要让机器对图片的内容、问题的含义和意图以及相关的常识有一定的理解。
现有视觉问答的模型基本上都是基于LSTM来实现，其输入一部分是问答的词向量，一部分是图片的CNN特征。
因此常见的如采用VGG模型所产生的特征，而问答的词向量则采用常见的word2vec.
网上已经有很多相关的代码，因此首先找了一个比较经典的VQA来复现一下。主要参考：https://github.com/paarthneekhara/neural-vqa-tensorflow。主要是里面有预训练好的模型。
测试结果：
(1) 测试图片一：http://img1.lvyou114.com/TukuMax/46/200912214425.JPG。
结果为：
问题: Which animal is this? | 相应的答案:giraffe排名前5的答案:giraffelionzebragoatbird |
|---|---|
问题: how many giraffes in the picture? | 相应的答案:2 排名前5的答案: 2 3 1 4 5 |
What is the color of the animal shown? | 相应的答案:brown 排名前5的答案: brown white tan black gray |
可以看出，对于动物的识别效果还可以，不过数量上就不行了，这也与VGG网络有关系，毕竟VGG网络没有实现物体目标检测。而颜色和类别识别还是可以的。
测试二：
问题：What are they doing?
相应的答案:surfing 排名前5的答案: surfing swimming parasailing water skiing flying kite
测试图片三：专门找个卡通的图片测试一下。
相应的答案:tennis 排名前5的答案: tennis baseball frisbee surfing skiing
从上述的动作识别来说，虽然比较接近，不过在排名第四，第五的动作却相距甚远，有可能是训练数据集本身就不包含这样的场景吧。
整个模型可能还少了些Attention机制，还只能处于实验阶段。