CVer-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

CVer

专栏成员

386

文章

590140

阅读量

194

订阅数

CVPR2020 | 最新Scene Graph Generation开源框架与SGG的一些碎碎念

linux 数据结构 python

2019上半年跌跌撞撞地搞了很多乱七八糟的东西但都没work，尤其让我酸的是我上半年没做work的一个VQA的idea居然在同年ICCV看到一篇极其相似的文章，虽然对方取巧用了BERT硬是提了一点才中的，但真的没产出的时候看着别人发paper太酸了。话虽如此，取巧用idea以外的trick发paper还是不值得学习的。同年下半年，受含老师的影响（要求），我去看了很久的《The Book of Why》来寻找灵感，最后到了临近CVPR deadline，还是回归了自己的老本行场景图生成，投稿了一篇《Unbiased Scene Graph Generation from Biased Training》，并幸运的以（SA，SA，WA）的分数中了今年的CVPR 2020。结合我之前对SGG领域的了解，我认为目前SGG领域内关于不同message passing模型设计带来的提升已经趋于饱和，且这个研究方向目前来看已经愈发没有意义，因为由于自然存在以及数据标注中的bias和长尾效应（long-tail effect）, 所谓的模型优化已经渐渐变成了更好的拟合数据集的bias，而非提取真正有意义的relationships。在此基础上，我在该工作中主要做了如下两件事：1）延续我去年在VCTree（CVPR 2019）中提出的mean Recall@K，设计了一个unbias的inference算法（注意不是training方法哦~），并希望让更多的人关注真正有意义的SGG，而不是去拟合数据集刷指标；2）由于之前通用的SGG框架neural-motifs已经落后于时代，我设计了个新的代码框架（已于Github开源）。不仅结合了最新的maskrnn-benchmark用于底层物体检测，同时集成了目前最全的metrics包括Recall，Mean Recall，No Graph Constraint Recall， Zero Shot Recall等，同时代码中为各种指标的evaluation统一了接口，希望后续有更多的研究者们可以设计出更有价值的metrics，从而使SGG领域不至于再只关注一个biased指标Recall而沦为灌水圣地。

2020-03-13

2.1K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态