前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Github:视觉问答最新资源汇总

Github:视觉问答最新资源汇总

作者头像
CV君
发布2019-12-27 11:09:14
7220
发布2019-12-27 11:09:14
举报

近日,52CV群友jokieleung对视觉问答技术涉及到的近几年相关论文和代码进行了总结,并放到了Github上,对于想了解、跟踪该方向的朋友,非常值得参考。

分享网址:

https://github.com/jokieleung/awesome-visual-question-answering

何为视觉问答Visual Question Answering,VQA)?

以下为引用知乎深度学习大讲堂关于此的定义介绍。

视觉问答,是一种涉及计算机视觉和自然语言处理的学习任务。

这一任务的定义如下:

A VQA system takes as input an image and a free-form, open-ended, natural-language question about the image and produces a natural-language answer as the output。

翻译为中文:一个VQA系统以一张图片和一个关于这张图片形式自由、开放式的自然语言问题作为输入,以生成一条自然语言答案作为输出。简单来说,VQA就是给定的图片进行问答。

VQA系统需要将图片和问题作为输入,结合这两部分信息,产生一条人类语言作为输出。针对一张特定的图片,如果想要机器以自然语言来回答关于该图片的某一个特定问题,我们需要让机器对图片的内容、问题的含义和意图以及相关的常识有一定的理解。

VQA涉及到多方面的AI技术(图1):

细粒度识别(这位女士是白种人吗?)

物体识别(图中有几个香蕉?)

行为识别(这位女士在哭吗?)

和对问题所包含文本的理解(NLP)。

综上所述,VQA是一项涉及了计算机视觉(CV)和自然语言处理(NLP)两大领域的学习任务。它的主要目标就是让计算机根据输入的图片和问题输出一个符合自然语言规则且内容合理的答案。

在awesome-visual-question-answering项目中,作者精心总结了Visual Question Answering(VQA)(Image/Video Question Answering),Visual Question Generation ,Visual Dialog ,Visual Commonsense Reasoning 等相关领域的最新论文与对应代码。

作者称该工程将不断完善、持续更新,也欢迎大家提交相关资料。

再发一下网址:

https://github.com/jokieleung/awesome-visual-question-answering

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-03-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 我爱计算机视觉 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档