专栏首页数据派THU独家 | 无人驾驶项目实战: 使用OpenCV进行实时车道检测

独家 | 无人驾驶项目实战: 使用OpenCV进行实时车道检测

作者:PRATEEK JOSHI

本文为一个从图像预处理角度入手的无人驾驶车道识别实战项目。

作者序

大约十年前,我瞥见了第一辆自动驾驶汽车,当时Google仍在对初代无人车进行测试,而我立刻被这个想法吸引了。诚然,在将这些概念开源给社区之前,我必须等待一段时间,但是这些等待是值得的。

我最近尝试了一些与计算机视觉有关的自动驾驶理念,其中包括车道检测。设想一下,在设计任何自动驾驶汽车时,车道检测都是一个非常核心的技术。我们将基于这段视频搭建车道检测系统:https://youtu.be/sYhZbhT-Smw。很酷对吧?我将使用OpenCV库,通过计算机视觉,引导你进入车道检测和自动驾驶这一领域。当然,在本教程中我们还将讲解Python代码。

对于任何深度学习或计算机视觉新手,请注意--如果你要入门,请查看以下课程及产品。这些资源可以很好的助力你开始计算机视觉之旅:

  • 深度学习基础

https://courses.analyticsvidhya.com/courses/fundamentals-of-deep-learning

  • 使用深度学习的计算机视觉

https://courses.analyticsvidhya.com/courses/computer-vision-using-deep-learning-version2

目录

1. 了解车道检测的概念

2. 问题陈述

3. 什么是帧蒙版(Frame Mask)?

4. 用于车道检测的图像预处理

5. 在Python中使用OpenCV进行车道检测实战

车道检测的概念

那么什么是车道检测?维基百科是这样定义车道的:“车道是道路(行车道)的一部分,专门用于单行车辆,以控制和引导驾驶员并减少交通冲突。”

Figure 1:https://en.wikipedia.org/wiki/Lane

对此进行正式定义很重要,因为它使我们能够在项目中使用固定的车道定义,这样在构建系统时我们不会产生任何歧义。

如我之前提到的,车道检测是自动驾驶的重要组成部分。它是推动场景理解的最重要的研究主题之一。一旦获得车道位置,车辆将知道要去哪里,并避免驶入其他车道或离开道路的风险。这可以防止驾驶员/驾驶系统偏离行车轨道。

以下是一些随机道路图像(第一行)及其检测到的车道(第二行):

Figure 2 https://github.com/qinnzou/Robust-Lane-Detection

问题陈述

我们希望执行的任务是视频中的实时车道检测。我们可以通过多种方式做车道检测。可以使用样本训练的方法,例如在带有标注的视频数据集上训练深度学习模型,或者使用预先训练好的模型。

但是,也有更简单的方法来执行车道检测。在本文中,我将向你展示如何在不使用任何深度学习模型的情况下做到这一点。我们将在Python中用到广受欢迎的OpenCV库。

以下是我们将要处理的视频中的一帧:

如图片中所示,我们有四条用白色车道标记隔开的车道。因此要检测一条车道,我们必须检测到该车道两侧的白色标记。这就引出了关键问题 -- 我们如何检测车道标记线?

除了车道线外,场景中还有很多其他对象。道路上有车辆,路旁的障碍物,路灯等。在视频中,每一帧的场景都在变化。这很好地反映了现实生活中的驾驶情况。因此,在解决车道检测问题之前,我们必须找到一种方法来忽略驾驶场景中的无关物体。我们可以直接上手的一件事就是缩小关注范围。相较于使用整个帧,我们只使用画面中的一部分。在下图中,除车道标记外,其他所有内容都隐藏在该帧中。随着车辆的移动,车道标记只会在该区域出现得更多或更少。

在下一节,我将向你展示如何编辑视频的边框以选择特定区域。此外你还将了解一些必要的图像预处理操作。

什么是蒙版(Frame Mask)?

在这里,蒙版不过是一个NumPy数组。当我们想对图像应用遮罩时,我们只需将图像中所需区域的像素值更改为0或255,或任何其他数字。下面给出的是图像遮罩的示例。图像中某个区域的像素值已设置为0:

这是一种非常简单但有效的方法,可以从图像中删除不需要的区域和对象。

车道检测的图像预处理

我们将首先对输入视频中的所有帧应用蒙版。然后,我们将应用图像阈值处理,然后进行霍夫线变换来检测车道标记。

图像阈值处理

在该方法中,我们基于一个阈值,将灰度图像的像素值分配为黑色或者白色。如果像素的值大于阈值,则为其分配一个值(黑色或白色),否则为另一个颜色。

如你在上方所见,在对蒙版图像应用阈值设置后,我们在输出的图像中只留下了车道标记。现在,我们可以借助霍夫线变换轻松地检测到这些标记。

霍夫线变换

霍夫变换是一种检测可以数学表示的形状的技术。

例如,它可以检测矩形,圆形,三角形或直线等形状。而我们关注的对象是可以表示为线的车道标记。我非常建议你查阅霍夫变换的资料:

https://opencvpythontutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html

在执行图像阈值处理后,在图像上应用霍夫线变换,我们将得到以下的输出图像:

我们需要针对所有帧执行此过程,然后将生成的帧拼接到新视频中。

在Python中使用OpenCV实现车道检测

现在该用Python实现这个车道检测项目了!我建议使用Google Colab,因为构建车道检测系统将需要很大计算力。

首先,导入所需的库:

import os
import re
import cv2
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt

读取视频帧

我已经从该YouTube视频中采样了一些视频帧。您可以从此链接下载。

https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view

# get file names of frames
col_frames = os.listdir('frames/')
col_frames.sort(key=lambda f: int(re.sub('\D', '', f)))

# load frames
col_images=[]

让我们绘制其中一帧:

# specify frame index
idx = 457

# plot frame
plt.figure(figsize=(10,10))
plt.imshow(col_images[idx][:,:,0], cmap= "gray")

创建帧蒙版

我们感兴趣的区域是多边形。我们要掩盖除此区域以外的所有内容。因此,我们首先必须指定多边形的坐标,然后使用它来准备蒙版:

# create a zero array
stencil = np.zeros_like(col_images[idx][:,:,0])

# specify coordinates of the polygon
polygon = np.array([[50,270], [220,160], [360,160], [480,270]])

# fill polygon with ones
cv2.fillConvexPoly(stencil, polygon, 1)

# plot polygon
plt.figure(figsize=(10,10))
plt.imshow(stencil, cmap= "gray")
plt.show()
# apply polygon as a mask on the frame
img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)

# plot masked frame
plt.figure(figsize=(10,10))
plt.imshow(img, cmap= "gray")
plt.show()

图像预处理

我们必须对视频帧执行几个图像预处理操作,以检测所需的车道。预处理操作为:

1. 图像阈值处理

2. 霍夫线变换

1.图像阈值处理

# apply image thresholding
ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)

# plot image
plt.figure(figsize=(10,10))
plt.imshow(thresh, cmap= "gray")
plt.show()

2. 霍夫线变换

lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)

# create a copy of the original frame
dmy = col_images[idx][:,:,0].copy()

# draw Hough lines
for line in lines:
  x1, y1, x2, y2 = line[0]
  cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)

# plot frame
plt.figure(figsize=(10,10))
plt.imshow(dmy, cmap= "gray")
plt.show()

现在,我们将所有这些操作应用于每个帧。我们还将结果帧保存在新目录中:

cnt = 0

for img in tqdm_notebook(col_images):

  # apply frame mask
  masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)

  # apply image thresholding
  ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)

  # apply Hough Line Transformation
  lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
  dmy = img.copy()

  # Plot detected lines
  try:
    for line in lines:
      x1, y1, x2, y2 = line[0]
      cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)

    cv2.imwrite('detected/'+str(cnt)+'.png',dmy)

  except TypeError: 
    cv2.imwrite('detected/'+str(cnt)+'.png',img)

  cnt+= 1

视频预处理

# input frames path
pathIn= 'detected/'

# output path to save the video
pathOut = 'roads_v2.mp4'

# specify frames per second
fps = 30.0

from os.path import isfile, join

# get file names of the frames
files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]
files.sort(key=lambda f: int(re.sub('\D', '', f)))

接下来,我们将所有包含检测到的车道的帧放入列表中:

frame_list = []

for i in tqdm_notebook(range(len(files))):
    filename=pathIn + files[i]
    #reading each files
    img = cv2.imread(filename)
    height, width, layers = img.shape
    size = (width,height)

    #inserting the frames into an image array
    frame_list.append(img)

最后,我们现在可以使用以下代码将帧组合成视频:

# write the video
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size)

for i in range(len(frame_array)):
    # writing to a image array
    out.write(frame_array[i])

out.release()

搞定!这就是你的Python车道检测系统。

总结

在本教程中,我们介绍了一种简单的车道检测技术。我们没有使用任何模型或复杂的图像功能。相反,我们的解决方案仅基于某些图像预处理操作。

但是,在许多情况下,此解决方案将不起作用。例如,当没有车道标记或道路上的交通过多时,该系统将发生故障。在车道检测中有更复杂的方法可以克服此类问题。如果你对自动驾驶汽车的概念感兴趣,我希望你继续探索这个话题。

原文标题:

Hands-On Tutorial on Real-Time Lane Detection using OpenCV (Self-Driving Car Project!)

原文链接:

https://www.analyticsvidhya.com/blog/2020/05/tutorial-real-time-lane-detection-opencv/

本文分享自微信公众号 - 数据派THU(DatapiTHU),作者:数据派

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 独家 | 2019 ICCV 收录论文:基于弱监督学习的病理影像分析框架

    恶性肿瘤是全球第二大死因,每年导致近千万人死亡。病理报告是肿瘤临床诊断和治疗的“金标准”,是癌症确诊和治疗的基本依据。为了缓解世界范围内病理医生短缺的现状,人工...

    数据派THU
  • 白天鹅黑天鹅灰天鹅?手把手教你用卷积神经网络搞定识别

    本文将通过一系列的天鹅图片来解释卷积神经网络(CNN)的概念,并使用CNN在常规多层感知器神经网络上处理图像。

    数据派THU
  • 独家 | 基于Python实现交互式数据可视化的工具(用于Web)

    这学期(2018学年春季学期)我教授了一门关于数据可视化的数据科学硕士课程。我们的数据科学硕士项目是一个为期15个月的强化项目,这个项目已经成功地培养了许多优秀...

    数据派THU
  • 我的妻子总问我她今天该穿什么,于是我用AI做了这样一款时尚应用

    我妻子几乎每天都会问这个问题:我今天该穿什么?这是一个很难回答的问题,因为首先我没有时尚感,而 Yumi 恰恰相反,她有时装设计学位。其次,我记性不好,我想不起...

    AI研习社
  • Object Detection in Foggy Conditions by Fusion of Saliency Map and YOLO

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    于小勇
  • 基于Matlab的三维人脸识别系统开发

    在过去的十年中已经提出了几种用于图像处理和计算机视觉应用的机器学习算法。LBP,HAAR是一些流行的算法,广泛用于人脸识别并产生出色的结果。但是大多数这些算法不...

    代码医生工作室
  • 学界 | 如何让医学图像诊断网络具备可解释性?CVPR oral 作者张子钊详解 MDNet 技术细节

    AI 科技评论按:AI 科技评论对各大顶级会议的论文及作者一直保持高度关注,在邀约优秀的与会老师和同学参加GAIR大讲堂等线下分享活动外,AI 科技评论也会持续...

    AI科技评论
  • 目前最先进的目标检测能用于自动驾驶吗?这群德国人认真地做了个测评!

    目标检测是自动驾驶技术的重要内容,确保上路安全,需要能够精准地检测出路面上所有目标。

    CV君
  • MIT语义软分割实现精细“抠图”,有助于打造逼真的电影特效

    随着电影越来越注重CGI,电影制作人必须越来越擅长“合成”,即合并前景和背景图像,例如将演员放置在飞机或行星的顶部,或者放入《黑豹》的Wakanda这样的虚构世...

    AiTechYun
  • 国内的纸媒该醒醒了,看看国外这些大型出版集团都用VR做了什么?

    VRPinea

扫码关注云+社区

领取腾讯云代金券