人群场景的属性--Deeply Learned Attributes for Crowded Scene Understandin

Deeply Learned Attributes for Crowded Scene Understanding CVPR2015 http://www.ee.cuhk.edu.hk/~jshao/WWWCrowdDataset.html https://github.com/amandajshao/www_deep_crowd

本文要解决的问题是什么了? 给你一段人群场景的视频,算法能否给出关于这段视频的一些信息? 能否回答下面三个问题?“ Who is in the crowd?”, “Where is the crowd?”, and “Why is crowd here?“

文章总体的流程如下:针对这个问题建立了一个大的数据库,WWW Crowd dataset with 10,000 videos from 8,257 crowded scenes,然后我们对这个数据库人工标记了94个属性,这94个属性是关于上面三个问题 Who Where Why 的 。 接着我们设计了一个 CNN网络 将上面的问题变成一个 CNN分类问题,CNN的输出是 94 类。这里CNN的输入包括两个部分: appearance and motion channels

下面首先来看看我们这个 WWW Crowd dataset 数据库

各个数据库的对比:

94个属性标签主要 分为 三类: 3 types of attributes: (1) Where (e.g. street, temple, and classroom), (2) Who (e.g. star, protester, and skater), and (3) Why (e.g. walk, board, and ceremony).

Crowd Attribute List (94)

indoor, outdoor, bazaar, shopping mall, stock market, airport, platform, (subway)passageway, ticket counter, street, escalator, stadium, concert, stage, landmark, square, school, beach, park, rink, church, conference center, classroom, temple, battlefield, runway, restaurant, customer, passenger, pedestrian, audience, performer, conductor, choir, dancer, model, photographer, star, speaker, protester, mob, parader, police, soldier, student, teacher, runner, skater, swimmer, pilgrim, newly-wed couple, queue, stand, sit, kneel, walk, run, wave, applaud, cheer, ride, swim, skate, dance, photograph, board, wait, buy ticket, check- in/out, watch performance, performance, band performance, chorus, red-carpet show, fashion show, war, fight, protest, disaster, parade, carnival, ceremony, speech, graduation, conference, attend classes, wedding, marathon, picnic, pilgrimage, shopping, stock exchange, dining, cut the ribbon

人工标记实例:

我们使用的CNN模型

两个网络分支具有相同的结构:Conv(96,7,2)-ReLU-Pool(3,2)-Norm(5)-Conv(256,5,2)-ReLU-Pool(3,2)-Norm(5)-Conv(384,3,1)-ReLU-Conv(384,3,1)-ReLU- Conv(256,3,1)-ReLU-Pool(3,2)-FC(4096). 最后两个分支合并得到 FC(8192)-FC(94)-Sig producing 94 attribute probability predictions

4.2. Motion Channels

接着分别介绍了 Collectiveness Stability Conflict 的定义和计算

5 Experimental Results deep learned static features (DLSF) deeply learned motion features (DLMF)

AUC of each attribute obtained with DLSF+DLMF

Good and bad attribute prediction examples

Compare deeply learned features with baselines

Six attributes predicted by DLSF, DLMF, and DLSF + DLMF

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【论文推荐】最新五篇命名实体识别(NER)相关论文—对抗学习、语料库、深度多任务学习、先验知识、跨语言语义

【导读】专知内容组整理了最近五篇命名实体识别(Named Entity Recognition)相关文章,为大家进行介绍,欢迎查看! 1. Adversaria...

3828
来自专栏专知

【论文推荐】最新5篇情感分析相关论文—深度学习情感分析综述、情感分析语料库、情感预测性、上下文和位置感知的因子分解模型、LSTM

【导读】专知内容组整理了最近五篇情感分析(Sentiment Analysis)相关文章,为大家进行介绍,欢迎查看! 1. Deep Learning for ...

3485
来自专栏Data Analysis & Viz

最全深度学习资源集合(Github:Awesome Deep Learning)Awesome Deep Learning

偶然在github上看到Awesome Deep Learning项目,故分享一下。其中涉及深度学习的免费在线书籍、课程、视频及讲义、论文、教程、网站、数据集、...

734
来自专栏专知

【论文推荐】最新六篇命名实体识别相关论文—跨专业医学、阿拉伯命名实体、中国临床、深度多任务学习、多模态、图卷积网络

1632
来自专栏专知

【专知荟萃09】目标检测知识资料全集(入门/进阶/论文/综述/视频/代码等)

目标检测(物体检测, Object Detection) 专知荟萃 入门学习 进阶文章 综述 Tutorial 视频教程 代码 领域专家 入门学习 图像目标...

48011
来自专栏AI研习社

教你从零开始检测皮卡丘-CNN目标检测入门教程(上)

本文先为大家介绍目前流行的目标检测算法SSD (Single-Shot MultiBox Object Detection)和实验过程中的数据集。训练、测试过程...

3906
来自专栏程序生活

机器学习(二)深度学习实战-使用Kera预测人物年龄问题描述引入所需要模块加载数据集创建模型编译模型优化optimize1 使用卷积神经网络optimize2 增加神经网络的层数输出结果结果

问题描述 我们的任务是从一个人的面部特征来预测他的年龄(用“Young”“Middle ”“Old”表示),我们训练的数据集大约有19906多张照片及其每张图片...

3207
来自专栏量化投资与机器学习

【世界读书日】2018版十大引用数最高的深度学习论文集合

1113
来自专栏专知

手把手教你构建ResNet残差网络

3222
来自专栏云时之间

深度学习与TensorFlow:FCN论文翻译(三)

We test our FCN on semantic segmentation and scene parsing, exploring PASCAL VOC...

1481

扫码关注云+社区