独家 | 无人驾驶项目实战： 使用OpenCV进行实时车道检测

作者：PRATEEK JOSHI

本文为一个从图像预处理角度入手的无人驾驶车道识别实战项目。

作者序

大约十年前，我瞥见了第一辆自动驾驶汽车，当时Google仍在对初代无人车进行测试，而我立刻被这个想法吸引了。诚然，在将这些概念开源给社区之前，我必须等待一段时间，但是这些等待是值得的。

我最近尝试了一些与计算机视觉有关的自动驾驶理念，其中包括车道检测。设想一下，在设计任何自动驾驶汽车时，车道检测都是一个非常核心的技术。我们将基于这段视频搭建车道检测系统：https://youtu.be/sYhZbhT-Smw。很酷对吧？我将使用OpenCV库，通过计算机视觉，引导你进入车道检测和自动驾驶这一领域。当然，在本教程中我们还将讲解Python代码。

对于任何深度学习或计算机视觉新手，请注意--如果你要入门，请查看以下课程及产品。这些资源可以很好的助力你开始计算机视觉之旅：

• 深度学习基础

https://courses.analyticsvidhya.com/courses/fundamentals-of-deep-learning

• 使用深度学习的计算机视觉

https://courses.analyticsvidhya.com/courses/computer-vision-using-deep-learning-version2

目录

1. 了解车道检测的概念

2. 问题陈述

3. 什么是帧蒙版（Frame Mask）？

4. 用于车道检测的图像预处理

5. 在Python中使用OpenCV进行车道检测实战

车道检测的概念

那么什么是车道检测？维基百科是这样定义车道的：“车道是道路（行车道）的一部分，专门用于单行车辆，以控制和引导驾驶员并减少交通冲突。”

Figure 1：https://en.wikipedia.org/wiki/Lane

对此进行正式定义很重要，因为它使我们能够在项目中使用固定的车道定义，这样在构建系统时我们不会产生任何歧义。

如我之前提到的，车道检测是自动驾驶的重要组成部分。它是推动场景理解的最重要的研究主题之一。一旦获得车道位置，车辆将知道要去哪里，并避免驶入其他车道或离开道路的风险。这可以防止驾驶员/驾驶系统偏离行车轨道。

以下是一些随机道路图像（第一行）及其检测到的车道（第二行）：

Figure 2 https://github.com/qinnzou/Robust-Lane-Detection

问题陈述

我们希望执行的任务是视频中的实时车道检测。我们可以通过多种方式做车道检测。可以使用样本训练的方法，例如在带有标注的视频数据集上训练深度学习模型，或者使用预先训练好的模型。

但是，也有更简单的方法来执行车道检测。在本文中，我将向你展示如何在不使用任何深度学习模型的情况下做到这一点。我们将在Python中用到广受欢迎的OpenCV库。

以下是我们将要处理的视频中的一帧：

如图片中所示，我们有四条用白色车道标记隔开的车道。因此要检测一条车道，我们必须检测到该车道两侧的白色标记。这就引出了关键问题 -- 我们如何检测车道标记线？

除了车道线外，场景中还有很多其他对象。道路上有车辆，路旁的障碍物，路灯等。在视频中，每一帧的场景都在变化。这很好地反映了现实生活中的驾驶情况。因此，在解决车道检测问题之前，我们必须找到一种方法来忽略驾驶场景中的无关物体。我们可以直接上手的一件事就是缩小关注范围。相较于使用整个帧，我们只使用画面中的一部分。在下图中，除车道标记外，其他所有内容都隐藏在该帧中。随着车辆的移动，车道标记只会在该区域出现得更多或更少。

在下一节，我将向你展示如何编辑视频的边框以选择特定区域。此外你还将了解一些必要的图像预处理操作。

什么是蒙版（Frame Mask）?

在这里，蒙版不过是一个NumPy数组。当我们想对图像应用遮罩时，我们只需将图像中所需区域的像素值更改为0或255，或任何其他数字。下面给出的是图像遮罩的示例。图像中某个区域的像素值已设置为0：

这是一种非常简单但有效的方法，可以从图像中删除不需要的区域和对象。

车道检测的图像预处理

我们将首先对输入视频中的所有帧应用蒙版。然后，我们将应用图像阈值处理，然后进行霍夫线变换来检测车道标记。

图像阈值处理

在该方法中，我们基于一个阈值，将灰度图像的像素值分配为黑色或者白色。如果像素的值大于阈值，则为其分配一个值（黑色或白色），否则为另一个颜色。

如你在上方所见，在对蒙版图像应用阈值设置后，我们在输出的图像中只留下了车道标记。现在，我们可以借助霍夫线变换轻松地检测到这些标记。

霍夫线变换

霍夫变换是一种检测可以数学表示的形状的技术。

例如，它可以检测矩形，圆形，三角形或直线等形状。而我们关注的对象是可以表示为线的车道标记。我非常建议你查阅霍夫变换的资料：

https://opencvpythontutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html

在执行图像阈值处理后，在图像上应用霍夫线变换，我们将得到以下的输出图像：

我们需要针对所有帧执行此过程，然后将生成的帧拼接到新视频中。

在Python中使用OpenCV实现车道检测

现在该用Python实现这个车道检测项目了！我建议使用Google Colab，因为构建车道检测系统将需要很大计算力。

首先，导入所需的库：

import os
import re
import cv2
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt

读取视频帧

我已经从该YouTube视频中采样了一些视频帧。您可以从此链接下载。

https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view

# get file names of frames
col_frames = os.listdir('frames/')
col_frames.sort(key=lambda f: int(re.sub('\D', '', f)))

# load frames
col_images=[]

让我们绘制其中一帧：

# specify frame index
idx = 457

# plot frame
plt.figure(figsize=(10,10))
plt.imshow(col_images[idx][:,:,0], cmap= "gray")

创建帧蒙版

我们感兴趣的区域是多边形。我们要掩盖除此区域以外的所有内容。因此，我们首先必须指定多边形的坐标，然后使用它来准备蒙版：

# create a zero array
stencil = np.zeros_like(col_images[idx][:,:,0])

# specify coordinates of the polygon
polygon = np.array([[50,270], [220,160], [360,160], [480,270]])

# fill polygon with ones
cv2.fillConvexPoly(stencil, polygon, 1)

# plot polygon
plt.figure(figsize=(10,10))
plt.imshow(stencil, cmap= "gray")
plt.show()

# apply polygon as a mask on the frame
img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)

# plot masked frame
plt.figure(figsize=(10,10))
plt.imshow(img, cmap= "gray")
plt.show()

图像预处理

我们必须对视频帧执行几个图像预处理操作，以检测所需的车道。预处理操作为：

1. 图像阈值处理

2. 霍夫线变换

1.图像阈值处理

# apply image thresholding
ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)

# plot image
plt.figure(figsize=(10,10))
plt.imshow(thresh, cmap= "gray")
plt.show()

2. 霍夫线变换

lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)

# create a copy of the original frame
dmy = col_images[idx][:,:,0].copy()

# draw Hough lines
for line in lines:
  x1, y1, x2, y2 = line[0]
  cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)

# plot frame
plt.figure(figsize=(10,10))
plt.imshow(dmy, cmap= "gray")
plt.show()

现在，我们将所有这些操作应用于每个帧。我们还将结果帧保存在新目录中：

cnt = 0

for img in tqdm_notebook(col_images):

  # apply frame mask
  masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)

  # apply image thresholding
  ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)

  # apply Hough Line Transformation
  lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
  dmy = img.copy()

  # Plot detected lines
  try:
    for line in lines:
      x1, y1, x2, y2 = line[0]
      cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)

    cv2.imwrite('detected/'+str(cnt)+'.png',dmy)

  except TypeError: 
    cv2.imwrite('detected/'+str(cnt)+'.png',img)

  cnt+= 1

视频预处理

# input frames path
pathIn= 'detected/'

# output path to save the video
pathOut = 'roads_v2.mp4'

# specify frames per second
fps = 30.0

from os.path import isfile, join

# get file names of the frames
files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]
files.sort(key=lambda f: int(re.sub('\D', '', f)))

接下来，我们将所有包含检测到的车道的帧放入列表中：

frame_list = []

for i in tqdm_notebook(range(len(files))):
    filename=pathIn + files[i]
    #reading each files
    img = cv2.imread(filename)
    height, width, layers = img.shape
    size = (width,height)

    #inserting the frames into an image array
    frame_list.append(img)

最后，我们现在可以使用以下代码将帧组合成视频：

# write the video
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size)

for i in range(len(frame_array)):
    # writing to a image array
    out.write(frame_array[i])

out.release()

搞定！这就是你的Python车道检测系统。

总结

在本教程中，我们介绍了一种简单的车道检测技术。我们没有使用任何模型或复杂的图像功能。相反，我们的解决方案仅基于某些图像预处理操作。

但是，在许多情况下，此解决方案将不起作用。例如，当没有车道标记或道路上的交通过多时，该系统将发生故障。在车道检测中有更复杂的方法可以克服此类问题。如果你对自动驾驶汽车的概念感兴趣，我希望你继续探索这个话题。

原文标题：

Hands-On Tutorial on Real-Time Lane Detection using OpenCV (Self-Driving Car Project!)

原文链接：

https://www.analyticsvidhya.com/blog/2020/05/tutorial-real-time-lane-detection-opencv/