人群场景的属性--Deeply Learned Attributes for Crowded Scene Understandin

Deeply Learned Attributes for Crowded Scene Understanding CVPR2015 http://www.ee.cuhk.edu.hk/~jshao/WWWCrowdDataset.html https://github.com/amandajshao/www_deep_crowd

本文要解决的问题是什么了? 给你一段人群场景的视频,算法能否给出关于这段视频的一些信息? 能否回答下面三个问题?“ Who is in the crowd?”, “Where is the crowd?”, and “Why is crowd here?“

文章总体的流程如下:针对这个问题建立了一个大的数据库,WWW Crowd dataset with 10,000 videos from 8,257 crowded scenes,然后我们对这个数据库人工标记了94个属性,这94个属性是关于上面三个问题 Who Where Why 的 。 接着我们设计了一个 CNN网络 将上面的问题变成一个 CNN分类问题,CNN的输出是 94 类。这里CNN的输入包括两个部分: appearance and motion channels

下面首先来看看我们这个 WWW Crowd dataset 数据库

各个数据库的对比:

94个属性标签主要 分为 三类: 3 types of attributes: (1) Where (e.g. street, temple, and classroom), (2) Who (e.g. star, protester, and skater), and (3) Why (e.g. walk, board, and ceremony).

Crowd Attribute List (94)

indoor, outdoor, bazaar, shopping mall, stock market, airport, platform, (subway)passageway, ticket counter, street, escalator, stadium, concert, stage, landmark, square, school, beach, park, rink, church, conference center, classroom, temple, battlefield, runway, restaurant, customer, passenger, pedestrian, audience, performer, conductor, choir, dancer, model, photographer, star, speaker, protester, mob, parader, police, soldier, student, teacher, runner, skater, swimmer, pilgrim, newly-wed couple, queue, stand, sit, kneel, walk, run, wave, applaud, cheer, ride, swim, skate, dance, photograph, board, wait, buy ticket, check- in/out, watch performance, performance, band performance, chorus, red-carpet show, fashion show, war, fight, protest, disaster, parade, carnival, ceremony, speech, graduation, conference, attend classes, wedding, marathon, picnic, pilgrimage, shopping, stock exchange, dining, cut the ribbon

人工标记实例:

我们使用的CNN模型

两个网络分支具有相同的结构:Conv(96,7,2)-ReLU-Pool(3,2)-Norm(5)-Conv(256,5,2)-ReLU-Pool(3,2)-Norm(5)-Conv(384,3,1)-ReLU-Conv(384,3,1)-ReLU- Conv(256,3,1)-ReLU-Pool(3,2)-FC(4096). 最后两个分支合并得到 FC(8192)-FC(94)-Sig producing 94 attribute probability predictions

4.2. Motion Channels

接着分别介绍了 Collectiveness Stability Conflict 的定义和计算

5 Experimental Results deep learned static features (DLSF) deeply learned motion features (DLMF)

AUC of each attribute obtained with DLSF+DLMF

Good and bad attribute prediction examples

Compare deeply learned features with baselines

Six attributes predicted by DLSF, DLMF, and DLSF + DLMF

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

TensorFlow实战——图像分类神经网络模型

Learn how to classify images with TensorFlow 使用TensorFlow创建一个简单而强大的图像分类神经网络模型 by...

3676
来自专栏AI科技大本营的专栏

丢人!Caffe2推出才几天,就被谷歌TensorFlow吊打了

两周前,Facebook大张旗鼓地开源了Caffe2深度学习框架,它在英伟达DGX-1平台上的高性能表现极为亮眼。 Google立刻动手反制,没几天就给出新版...

3286
来自专栏利炳根的专栏

学习笔记CB001:NLTK库、语料库、词概率、双连词、词典

聊天机器人知识主要是自然语言处理。包括语言分析和理解、语言生成、机器学习、人机对话、信息检索、信息传输与信息存储、文本分类、自动文摘、数学方法、语言资源、系统评...

27310
来自专栏机器学习算法与理论

调用Dlib库进行人脸关键点标记

       昨天调试了人脸识别(classifier_webcam)这个程序,效果不错,响应速度也挺快。按照http://blog.csdn.net/u011...

4059
来自专栏机器之心

业界 | TensorFlow基准:图像分类模型在各大平台的测试研究

选自TensorFlow.org 机器之心编译 参与:蒋思源、黄小天 自 TensorFlow 1.0 发布以来,越来越多的机器学习研究者和爱好者加入到这一阵营...

2986
来自专栏锦小年的博客

Nilearn学习笔记3-提取时间序列建立功能连接体

在nilearn库中,提供了两种从fmri数据中提取时间序列的方法,一种基于脑分区(Time-series from a brain parcellation ...

2525
来自专栏大数据挖掘DT机器学习

Python机器学习库scikit-learn实践

一、概述 以最广泛的分类算法为例,大致可以分为线性和非线性两大派别。线性算法有著名的逻辑回归、朴素贝叶斯、最大熵等,非线性算法有随机森林、决策树、神经网络、核...

3525
来自专栏ATYUN订阅号

自相关与偏自相关的简单介绍

自相关和偏自相关图在时间序列分析和预测中经常使用。这些图生动的总结了一个时间序列的观察值与他之前的时间步的观察值之间的关系强度。初学者要理解时间序列预测中自相关...

5144
来自专栏有趣的Python和你

sklearn调包侠之朴素贝叶斯

1105
来自专栏iOSDevLog

人工智能的 "hello world":在 iOS 实现 MNIST 数学识别MNIST: http://yann.lecun.com/exdb/mnist/ 目标步骤

3408

扫码关注云+社区