首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

使用深度学习从视频中估计车辆的速度

作者:Sharif Elfouly 编译:ronghuaiyang 编辑:AI公园 导读 使用光流 + CNN的方法来预测车辆的速度,用PyTorch实现,有代码。...我想要解决的问题是:在一辆车里有一个摄像头,我想知道车开得有多快。你显然不能看速度表,只能看视频片段本身。深度学习魔法应该能帮助我们。 数据 我有两个不同的视频。一个用于训练,另一个用于测试。...视频中的样本图像 训练视频的标签是a .txt文件,其中每一行对应于特定帧的速度。 方法 这个问题最有趣的地方是你的神经网络输入会是什么样子。仅从一个静态图像计算速度是不可能的。...它基本上是一种为每个像素计算矢量的方法,告诉你两幅图像之间的相对运动。有一个很棒的computerphile视频:https://www.youtube.com/watch?...计算光流 为了进行推断,网络将两幅图像拼接起来,并预测了一个维度为*(2, image_height, image_width)*的张量。如前所述,图像中的每个像素对应一个二维向量。

1.5K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用深度学习从视频中估计车辆的速度

    作者:Sharif Elfouly 编译:ronghuaiyang 导读 使用光流 + CNN的方法来预测车辆的速度,用PyTorch实现,有代码。...我想要解决的问题是:在一辆车里有一个摄像头,我想知道车开得有多快。你显然不能看速度表,只能看视频片段本身。深度学习魔法应该能帮助我们。 数据 我有两个不同的视频。一个用于训练,另一个用于测试。...视频中的样本图像 训练视频的标签是a .txt文件,其中每一行对应于特定帧的速度。 方法 这个问题最有趣的地方是你的神经网络输入会是什么样子。仅从一个静态图像计算速度是不可能的。...它基本上是一种为每个像素计算矢量的方法,告诉你两幅图像之间的相对运动。有一个很棒的computerphile视频:https://www.youtube.com/watch?...计算光流 为了进行推断,网络将两幅图像拼接起来,并预测了一个维度为*(2, image_height, image_width)*的张量。如前所述,图像中的每个像素对应一个二维向量。

    1K20

    OpenCV中的光流及视频特征点追踪

    这篇博客将介绍光流的概念以及如何使用 Lucas-Kanade 方法估计光流,并演示如何使用 cv2.calcOpticalFlowPyrLK() 来跟踪视频中的特征点。 1....不是很严谨的——稀疏光流特征点追踪效果图如下: 它追踪了视频中多个车的主驾驶、副驾驶,以及行人的边缘角点的轨迹: 此代码不检查下一个关键点的正确程度。...光流追踪的原理: cv2.goodFeaturesToTrack() :Shi-Tomasi 角点检测器确定要追踪的特征点 cv2.calcOpticalFlowPyrLK(): 追踪视频中的稀疏特征点...cv2.calcOpticalFlowFarneback(): 追踪视频中的密集特征点 取第一帧,检测其中的一些 Shi-Tomasi 角点,使用 Lucas-Kanade 光流迭代跟踪这些点。...Shi-Tomasi 角点检测器 比 Harris 角点检测器效果更好一些; 2.2 光流的应用 光流在以下领域有许多应用: 运动的结构 视频压缩 视频稳定 2.3 光流的2种方法 OpenCV提供了俩种算法计算光流

    99300

    深度学习 + OpenCV,Python实现实时目标检测

    在第一部分中,我们将学习如何扩展原有的目标检测项目,使用深度学习和 OpenCV 将应用范围扩展到实时视频流和视频文件中。这个任务会通过 VideoStream 类来完成。.../ 现在,我们将开始把深度学习+目标检测的代码应用于视频流中,同时测量 FPS 处理速度。.../ 现在,我们加载自己的模型,并设置自己的视频流: 我们加载自己的序列化模型,提供对自己的 prototxt 和模型文件的引用(第 30 行),可以看到在 OpenCV 3.3 中,这非常简单。...现在,让我们遍历每一帧(如果你对速度要求很高,也可以跳过一些帧): 首先,我们从视频流中读取一帧(第 43 行),随后调整它的大小(第 44 行)。.../) 最终结果是基于深度学习的目标检测器可以处理 6-8 个 FPS 的视频(当然,这也取决于你的系统速度)。

    4.1K70

    使用OpenCV和Python计算视频中的总帧数

    一个读者的问题: 我需要用OpenCV计算视频文件中帧的总数。我发现的唯一的方法是对视频文件中的每一帧逐个循环,并增加一个计数器。有更快的方法吗?...计算帧数的简单方法 在OpenCV中计算视频帧数的第一种方法非常快——它只是使用OpenCV提供的内置属性来访问视频文件并读取视频的元信息。...这个方法需要一个参数以及一个可选参数: path:这是我们的视频文件在磁盘上的路径。 override:一个布尔标志,用来决定我们是否应该跳过方法1而直接使用速度较慢(但保证准确无错误)的方法2。...提供的API来确定视频文件中的帧数,我们需要利用所谓的捕获属性,其被OpenCV称为CAP_PROP(任何时候你看到一个以CAP_PROP_*开头的常量,你应该知道它与视频处理相关)。...在opencv3中,帧计数属性的名称是cv2.CAP_PROP_FRAME_COUNT,理想情况下,将各自的属性名称传递给视频指针的.get方法将允许我们获得视频中的总帧数(第10-15行)。

    3.8K20

    教程 | 深度学习 + OpenCV,Python实现实时视频目标检测

    / 现在,我们将开始把深度学习+目标检测的代码应用于视频流中,同时测量 FPS 处理速度。...我们加载自己的序列化模型,提供对自己的 prototxt 和模型文件的引用(第 30 行),可以看到在 OpenCV 3.3 中,这非常简单。 下一步,我们初始化视频流(来源可以是视频文件或摄像头)。...VideoStream 和 FPS 类是 imutils 包的一部分。 现在,让我们遍历每一帧(如果你对速度要求很高,也可以跳过一些帧): ?...总结 今天的博客中,我们学习了如何使用深度学习 + OpenCV + 视频流来执行实时目标检测。我们通过下列两个教程完成了这一目标: 1..../) 最终结果是基于深度学习的目标检测器可以处理 6-8 个 FPS 的视频(当然,这也取决于你的系统速度)。

    3.3K70

    为什么老程序员的效率如此高?编程速度快,Bug数量又少?

    为什么老程序员编程速度快,Bug数量少? 之前看到一位程序员讲到:2个月前公司有一个35+的老程序员入职,和项目主管一个年纪,但是还是干技术,基本没话,就是干自己的。...我想说的是,老程序员不是APM比你高,也不是思维比你快(纯指反应速度)... 只是经验比你多...基本不埋雷而已......这很大程度取决了你的代码速度。 其实呢,归结起来可以用一句话概括“用正确的方法做正确的事”。 除了这些,还有就是学习心态。。。...那么Java中那些东西是我们Android中比较相关的稍微比较难的Java基础几乎是一个门槛,像泛型丶多线程丶反射丶JVM丶JavaIO丶注解丶序列化等等 ?...~ 为什么某些人会一直比你优秀,是因为他本身就很优秀还一直在持续努力变得更优秀,而你是不是还在满足于现状内心在窃喜!

    1.1K11

    关于视频处理

    今天继续来聊聊视频,现在影视剧、短视频在我们的生活中无处不在,再加上智能手机拍摄视频的便捷,我们可谓是生活在视频的时代。 那么如果我们想要像修图一样,处理视频,该怎么实现呢?...首先,视频是由一系列图像构成的,这一系列图像被称为帧,帧是以固定的时间间隔从视频中获取的。 获取帧的速度称为帧速率,其单位通常使用“帧/秒”表示,代表在1秒内所出现的帧数,对应的英文是FPS。...如果我们从视频中能够提取出独立的帧,那么就可以使用图像处理的方法对其进行处理,这样就达到了处理视频的目的。 以上就是基本处理视频的原理。...视频处理的快与慢,取决于视频长度和修复的要求,还有就是用什么技术来处理。 如果我们用OpenCV该如何做呢?...OpenCV提供了cv2.VideoCapture类和cv2.VideoWriter类来支持各种类型的视频文件处理。如何喜欢内容,欢迎分享转发,下次继续分享如何通过编写程序处理一段视频。

    1.5K20

    为什么OpenCV计算的帧率是错误的?

    ,例如黑/白屏检测、静态画面检测……在检测中,我们会根据提取到的直播流的帧率来预估要计算的帧数量,例如,如果要检测5s的直播流,而该直播流的帧率为20fps,需要计算的帧数量则为100。...查了之后,我们发现,之所以计算超时是因为OpenCV计算的帧率为2000,从而导致需要计算的帧数量从之前的100变为了10000,进而引起了计算超时。.../ r2d(ic->streams[video_stream]->codec->time_base);} 2 为什么OpenCV得到的帧率是错的 利用test_time_base.cpp[3],我们可以得到...= 0 时,OpenCV计算fps的逻辑是错误的。...在OpenCV中,对于H.264/MPEG-2视频而言,当 AVStream.avg_frame_rate=0时,其计算fps的逻辑存在BUG。

    1.1K10

    opencv视频跟踪「建议收藏」

    大家好,又见面了,我是你们的朋友全栈君。 什么是对象跟踪? 简而言之,在视频的连续帧中定位对象称为跟踪。...例如,通常在对象跟踪下研究以下所有不同但相关的想法 密集光流:这些算法有助于估计视频帧中每个像素的运动矢量。...跟踪与检测 如果你曾经玩过OpenCV人脸检测,你知道它可以实时工作,你可以轻松地检测每一帧中的脸部。那么,为什么你需要首先进行跟踪?...您还可以知道前一帧中的位置以及其运动的方向和速度。因此,在下一帧中,您可以使用所有这些信息来预测下一帧中对象的位置,并围绕对象的预期位置进行小搜索,以准确定位对象。...为什么我们不直接检测第一帧中的对象并随后跟踪?确实,跟踪可以从它拥有的额外信息中受益,但是当它们长时间落在障碍物后面时,或者如果它们移动速度太快以至于跟踪算法无法赶上时,您也可能会失去对象的跟踪。

    74020

    OpenCV4 + CUDA 从配置到代码.....

    03 OpenCV代码测试与运行 OpenCV4支持CUDA运行的模块,主要包括 图像处理、视频读写、视频分析、传统的对象检测包括HOG、级联检测器、特征提取部分、卷积滤波与图像二值分析、图像分割模块。...基于1080P的视频文件 CPU版本的运行是大概在2FPS GPU版本CUDA加速运行大概在 80 FPS ?...怎么说,完全是碾压式的速度优势。看来以后视频处理必须CUDA版本才过瘾。来自官方的更多加速比较图示如下: ? 测试1920x1080大小的视频文件,处理帧率如下: ? 可以说完全实时无压力!...04 模块支持与应用场景 既然CUDA加速这么厉害,为什么OpenCV在正式的release中却没有包含呢?本人觉得OpenCV正式的官方Release版本主要是考虑普适性的问题。...另外OpenCV在3.x到4.x升级的时候把CUDA支持从release移到扩展模块中去了,官方也没有解释为什么,我个人感觉更多的是出于商业考虑。

    4.1K20

    视频中为什么需要这么多的颜色空间?

    Kaspbrak) 在视频处理中,我们经常会用到不同的色彩空间:非线性 RGB、线性 RGB、YUV、XYZ……为什么需要这么多的色彩空间呢?...为什么在FFmpeg中会有 color_space,color_transfer,color_primaries 等一系列的颜色属性呢?这些术语之间究竟隐藏着什么秘密?...视频采集 图片来源:https://thinklucid.com/tech-briefs/understanding-digital-image-sensors/ 如上图所示,在相机系统中,外部世界的光信息...[17]根据colorspace的实现可知,在 FFmpeg 中,BT.601->BT.709的转换过程如下所示: 在如上的变换中,涉及到3个颜色空间的转换,分别是: YUV 和 RGB 之间的转换...Color primaries 字段对应RGB/XYZ的转换矩阵 除了如上的参数外,AVFrame->range[23] 还用来存储视频中对应像素的每个分量的取值范围。

    1K50

    OpenCV4 | 如何让传统图像处理实现三十倍加速的顶级技能

    OpenCV代码测试与运行 03 OpenCV4支持CUDA运行的模块,主要包括 图像处理、视频读写、视频分析、传统的对象检测包括HOG、级联检测器、特征提取部分、卷积滤波与图像二值分析、图像分割模块。...基于1080P的视频文件 CPU版本的运行是大概在2FPS GPU版本CUDA加速运行大概在 80 FPS ?...怎么说,完全是碾压式的速度优势。看来以后视频处理必须CUDA版本才过瘾。来自官方的更多加速比较图示如下: ? 测试1920x1080大小的视频文件,处理帧率如下: ? 可以说完全实时无压力!...模块支持与应用场景 04 既然CUDA加速这么厉害,为什么OpenCV在正式的release中却没有包含呢?本人觉得OpenCV正式的官方Release版本主要是考虑普适性的问题。...另外OpenCV在3.x到4.x升级的时候把CUDA支持从release移到扩展模块中去了,官方也没有解释为什么,我个人感觉更多的是出于商业考虑。

    10.1K30

    OpenCV保存H264视频的问题

    环境 windows 10 64bit opencv 4.5.3 前言 看到有小伙伴在聊,如何将目标检测的结果保存成视频的相关问题?本篇我们就来看看。...opencv保存视频 在绝大多数的目标检测项目中,都是使用opencv这个开源的计算机视觉库来进行图片、视频或者摄像头的读写。...FourCC是一个4字节码,用来表示视频编码器,网站 fourcc.org 列出了所有可用的编码器。在VideoWriter中既可以写成*'MJPG',也可以写成'M', 'J', 'P', 'G'。...,H264字节码并不被支持,自动帮你替换成了avc1,opencv默认使用ffmpeg框架来处理视频,但是ffmpeg并没有h264解码器。...为什么不内置h264 这主要是许可证的问题,libx264是基于GPL的,而ffmpeg要使用libx264的话,必须--enable-gpl,而opencv则用的是MIT许可。

    6.1K40

    OpenCV 教程 03: 如何跟踪视频中的某一对象

    视频的每一帧就是一张图片,跟踪视频中的某一对象,分解下来,其实就是在每一帧的图片中找到那个对象。 既然要找到那个对象,就要先定义这个目标对象,既然是图片,那就有颜色,先了解下常用的 3 种颜色模型。...每一个像素点都有都有 3 个值表示颜色,这是最常见的颜色模型了。OpenCV 中的顺序是 BGR。 灰度图。...这个模型中颜色的参数分别是色调(H)、饱和度(S)和明度(V).HSV对用户来说是一种直观的颜色模型。...OpenCV 可以很方便的从 BGR 转换为灰度图,从 BGR 转换为 HSV: import cv2 as cv cv.cvtColor(input_image, cv.COLOR_BGR2GRAY...在 HSV 中,表示颜色比在 BGR 颜色空间中更容易。 接下来,我们将在视频中追踪蓝色对象。

    72410

    一文详解OpenCV中的CUDA模块

    OpenCV引入了一个新的类cv :: gpu :: GpuMat(或Python中的cv2.cuda_GpuMat)作为主要数据容器。...然后,我们将使用GPU进行相同的操作。最后,我们将比较经过的时间以计算获得的加速比。 FPS计算 由于我们的主要目标是找出算法在不同设备上的运行速度,因此我们需要选择测量方法。...在计算机视觉中,这样做的常用方法是计算每秒处理的帧数(FPS)。 CPU端 1.视频及其属性 我们将从视频捕获初始化开始,并获取其属性,例如帧频和帧数。...由于Farneback的光流法适用于灰度帧,因此我们需要确保将灰度视频作为输入传递。这就是为什么我们首先对其进行预处理以将每帧从BGR格式转换为灰度的原因。...: 29.97 Optical flow FPS : 170.224 Full pipeline FPS : 36.8148 当我们使用CUDA加速时,这使光流计算的速度提高了约17倍!

    5.3K30

    技巧 | OpenCV程序执行时间计算

    01 引言 大家用OpenCV做开发,经常需要调试算法,打印出算法的执行时间,OpenCV中没有直接获取时间戳的函数,但是有两个根据CPU时钟可以精准计算算法每个步骤执行时间的函数,通过它们可以计算一行或者多行代码的执行时间...,视频处理的FPS等性能指标。...计算秒/毫秒/FPS 在算法执行阶段,有三个经常使用的速度性能计量指标分别是秒、毫秒、FPS(每秒多少帧),根据上面的cv.getTickCount与cv.getTickFrequency两个函数,这三个指标的计算代码如下...fps = cv.getTickFrequency() / (e2 - e1) 网络模型推理执行时间计算 OpenCV中还提供了网络模型推理执行时间得计算函数,完成一次深度学习模型推理的时间,可以从模型的...getPerfProfile函数中获取,转换为毫秒数,相关的计算代码如下: # Put efficiency information. t, _ = net.getPerfProfile() label

    1.8K20
    领券