专栏首页数据派THU独家 | 教你使用Keras on Google Colab(免费GPU)微调深度神经网络

独家 | 教你使用Keras on Google Colab(免费GPU)微调深度神经网络

作者:LONG ANG

翻译:闫晓雨

校对:丁楠雅

本文约2300字,建议阅读7分钟。

本文将指导您如何使用Google上的Keras微调VGG-16网络。

简介

在CPU上训练深度神经网络很困难。本教程将指导您如何使用Google Colaboratory上的Keras微调VGG-16网络,这是一个免费的GPU云平台。如果您是Google Colab的新手,这是适合您的地方,您将了解到:

  • 如何在Colab上创建您的第一个Jupyter笔记本并使用免费的GPU。
  • 如何在Colab上上传和使用自定义数据集。
  • 如何在前景分割域中微调Keras预训练模型(VGG-16)。

现在,让我们开始!

1. 创建您的第一个Jupyter笔记本

假定您已登录自己的Google帐户。请按以下步骤操作:

步骤a. 导航到http://drive.google.com。 步骤b. 您将在左侧窗格中看到“我的驱动器”选项卡。现在,在其中创建一个文件夹,比如Colab Notebooks。 步骤c. 右键单击创建的文件夹内右窗格中的其他位置,选择More > Colaboratory。弹出另一个窗口,您可以将笔记本命名为其他窗口,例如myNotebook.ipynb。

恭喜!!!您已经在Colab上创建了您的第一个笔记本?

2. 为笔记本设置GPU加速器

在笔记本中,选择Runtime > Change runtime type。将弹出一个窗口。然后选择您的运行时间类型,从硬件加速器下拉菜单中选择GPU并保存您的设置,如下图所示:

3. 将您的自定义数据集上传到Colab

您已将笔记本设置为在GPU上运行。现在,让我们将您的数据集上传到Colab。在本教程中,我们处理前景分割,其中前景对象是从背景中提取的,如下图所示:

图像来自changedetection.net

将数据集上传到Colab有几种选择,但是,我们在本教程中考虑两个选项;首先,我们上传到GitHub并从中克隆到Colab,其次,我们上传到Google云端硬盘并直接在我们的笔记本中使用它。您可以选择任一选项 a 选项 b 如下:

步骤a. 从GitHub克隆

让我们将数据集克隆到创建的笔记本上。在您的笔记本中运行:

!git clone https://github.com/lim-eren/CDnet2014.git.

您会看到这样的东西:

完成!让我们列出训练集,看它是否有效:

开始了!训练集包含25个输入帧和25个地面真实帧。如果您已完成此步骤,可略过步骤 b并跳转到第4节。

步骤b. 从Google云盘下载

另一种方法是将数据集上传到Google云端硬盘并从中进行克隆。假设您已经压缩了上面的培训集,比如说CDnet2014.zip,并上传到Google Drive中与myNotebook.ipynb相同的目录。现在,右键单击CDnet2014net.zip > 获取可共享链接。复制文件的ID并将其存储在某个地方(稍后我们将使用它)。

然后,通过运行以下代码验证Colab以访问Google云端硬盘。点击链接获取验证码并将其粘贴到文本框下方,然后按Enter键。

然后,让我们将CDnet2014net.zip文件内容下载到我们的Jupyter笔记本中(替换 YOUR_FILE_ID 为上面步骤中获得的id)并通过运行以下代码解压缩它:

完成!您已将数据集从Google云端硬盘下载到Colab。让我们继续第4节,使用这个数据集构建一个简单的神经网络。

4. 微调您的神经网络

将数据集下载到Colab后,现在让我们在前景分割域中对Keras预训练模型进行微调。请按照以下步骤操作:

步骤a. 首先,在笔记本上添加此代码段,以获得跨机器的可重现结果(请在笔记本的单元格中运行代码段):

# Run it to obtain reproducible results across machines (from keras.io) from__future__import print_function import numpy as np import tensorflow as tf import random as rn import os os.environ['PYTHONHASHSEED'] ='0' np.random.seed(42) rn.seed(12345) session_conf = tf.ConfigProto(intra_op_parallelism_threads=1, inter_op_parallelism_threads=1) from keras import backend as K tf.set_random_seed(1234) sess = tf.Session(graph=tf.get_default_graph(), config=session_conf) K.set_session(sess)

步骤b. 创建一个从Colab加载数据的函数。此函数返回具有相应基础事实(Y)的输入图像(X):

# load data func import glob from keras.preprocessing import image as kImage defgetData(dataset_dir): X_list=sorted(glob.glob(os.path.join(dataset_dir, 'x','*.jpg'))) Y_list =sorted(glob.glob(os.path.join(dataset_dir, 'y' ,'*.png'))) X= [] Y= [] for i inrange(len(X_list)): # Load input image x = kImage.load_img(X_list[i]) x = kImage.img_to_array(x) X.append(x) # Load ground-truth label and encode it to label 0 and 1 x = kImage.load_img(Y_list[i], grayscale=True) x = kImage.img_to_array(x) x /=255.0 x = np.floor(x) Y.append(x) X = np.asarray(X) Y = np.asarray(Y) # Shuffle the training data idx =list(range(X.shape[0])) np.random.shuffle(idx) X = X[idx] Y = Y[idx] return X, Y

步骤c. 最初是一个vanilla编码器——解码器模型。我们将VGG-16预训练模型作为编码器进行调整,其中所有完全连接的层都被移除,只有最后一个卷积层(block5_conv3)被微调,其余层被冻结。我们使用转置卷积层来恢复解码器部分中的特征分辨率。

由于它是二分类问题,binary_crossentropy因此使用并且来自网络的输出将是0和1之间的概率值。这些概率值需要被阈值化以获得二进制标签0或1,其中标签0表示背景和标签1代表前景。

import keras from keras.models import Model from keras.layers import Deconv2D, Input definitModel(): ### Encoder net_input = Input(shape=(240,320,3)) vgg16 = keras.applications.vgg16.VGG16(include_top=False, weights='imagenet', input_tensor=net_input) for layer in vgg16.layers[:17]: layer.trainable =False x = vgg16.layers[-2].output # 2nd layer from the last, block5_conv3 ### Decoder x = Deconv2D(256, (3,3), strides=(2,2), activation='relu', padding='same')(x) x = Deconv2D(128, (3,3), strides=(2,2), activation='relu', padding='same')(x) x = Deconv2D(64, (3,3), strides=(2,2), activation='relu', padding='same')(x) x = Deconv2D(32, (3,3), strides=(2,2), activation='relu', padding='same')(x) x = Deconv2D(1, (1,1), activation='sigmoid', padding='same')(x) model = Model(inputs=vgg16.input, outputs=x) model.compile(loss=keras.losses.binary_crossentropy, optimizer=keras.optimizers.RMSprop(lr=5e-4), metrics=['accuracy']) return model

步骤d. 我们将学习率设置为5e-4,batch_size为1,validation_split为0.2,max-epochs为100,当验证损失连续5次迭代没有改善时将学习率降低10倍,并在验证损失连续10次迭代没有改善时提前停止训练。现在,让我们训练模型吧。

# load data dataset_path = os.path.join('CDnet2014', 'train') X, Y = getData(dataset_path) # init the model model = initModel() early = keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=1e-4, patience=10) reduce= keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=5) model.fit(X, Y, batch_size=1, epochs=100, verbose=2, validation_split=0.2, callbacks=[reduce, early], shuffle=True) model.save('my_model.h5')

使用GPU进行训练

一次迭代大约需要1秒钟,贼快!验证集的最大精度高于98%。还不错,对吧?现在,让我们暂停一下。让我们比较使用和不使用GPU的训练速度(如果需要,可以跳过此比较并跳转到测试部分)。要在没有GPU的情况下进行训练,请将硬件加速器设置为无(参见上面的第2节)。这是培训日志。没有GPU,一次迭代需要大约30秒,而使用GPU训练只需要1秒(大约快30倍?)。

不使用GPU进行训练

现在,让我们使用ColabGPU在测试集上测试模型(您可以运行!ls */test/*以查看具有相应基础事实的测试帧)。

好棒!!!只需使用25个vanilla网络的例子,我们就可以在测试集+验证集上达到98.94%的精度。请注意,由于训练示例的随机性,您可能会得到与我相似的结果(不完全相同但只有很小的精度差异)。

注意一个问题:我们的模型过度拟合了训练数据,您接下来的工作是解决这个问题。提示:使用正规化技术,如Dropout,L2,BatchNormalization。

步骤e. 让我们通过运行以下代码绘制分段掩码:

import matplotlib.pyplot as plt idx =1#image index that you want to display img =np.empty(3, dtype=object) img[0] = X[idx] img[1] =Y[idx].reshape(Y[idx].shape[0],Y[idx].shape[1]) img[2] =pred[idx].reshape(pred[idx].shape[0],pred[idx].shape[1]) title = ['input','ground-truth', 'result'] for iinrange(3): plt.subplot(1, 3, i+1) if i==0: plt.imshow(img[i].astype('uint8')) else: plt.imshow(img[i], cmap='gray') plt.axis('off') plt.title(title[i]) plt.show()

好了!细分结果一点都不差!大多数对象边界被错误分类了,该问题主要是由于训练期间在损失计算中考虑空标签(对象边界周围的模糊像素)引起的。我们可以通过在损失中省略这些void标签来更好地提高性能。您访问以下两个链接参考如何执行此操作:

https://github.com/lim-anggun/FgSegNet https://github.com/lim-anggun/FgSegNet_v2

CDnet2014数据集上的测试结果(changedetection.net)

GitHub中提供了本教程的完整源代码:

https://github.com/lim-anggun/tutorials/blob/master/myNotebook.ipynb

总结

在本教程中,您学习了如何使用Google Colab GPU并快速训练网络。您还学习了如何在前景分割域中微调Keras预训练模型,您可能会发现它在您未来的研究中很有趣。

如果您喜欢这篇文章,请随时分享或鼓掌。祝愉快!??

原文标题:

A comprehensive guide on how tofine-tune deep neural networks using Keras on Google Colab (Free GPU)

原文链接:

https://towardsdatascience.com/a-comprehensive-guide-on-how-to-fine-tune-deep-neural-networks-using-keras-on-google-colab-free-daaaa0aced8f

译者简介

闫晓雨,本科毕业于北京林业大学,即将就读于南加州大学应用生物统计与流行病硕士项目。继续在生统道路上摸爬滚打,热爱数据,期待未来。

本文分享自微信公众号 - 数据派THU(DatapiTHU)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 排名第 1 ,Python 到底有什么魔力 !?

    根据 PYPL 发布的 7 月编程语言指数榜,Python 保持上涨趋势,8月流行指数再次上涨 5.5%,以 23.59% 的份额甩开 Java 排名第一,并逐...

    小小詹同学
  • 安全快讯合集

    3. Google Chrome 71将获得原生黑暗模式 但暂时仅适用于macOS

    用户1631416
  • 计算机视觉:进最快的赛道,挣最多的钱

    指纹解锁、刷脸识别、语音转换文字、机器人看病、Alphago······我们已经深刻的感受到,人工智能在改变我们的工作方式和认知。

    Crossin先生
  • Keras还是TensorFlow?深度学习框架选型实操分享

    深度学习发展势头迅猛,但近两年涌现的诸多深度学习框架让初学者无所适从。如 Google 的 TensorFlow、亚马逊的 MXNet、Facebook 支持的...

    AI科技大本营
  • 学界 | 全局最优解?为什么SGD能令神经网络的损失降到零

    用一阶方法训练的神经网络已经对很多应用产生了显著影响,但其理论特性却依然成谜。一个经验观察是,即使优化目标函数是非凸和非平滑的,随机初始化的一阶方法(如随机梯度...

    机器之心
  • golang学习笔记5:字符串及相关函数

    字符串是 UTF-8 字符的一个序列(当字符为 ASCII 码时则占用 1 个字节,其它字符根据需要占用 2-4 个字节)。UTF-8 是被广泛使用的编码格式,...

    JKXQJ
  • 入门 | 做数据科学如烤蛋糕?不服来看

    面部识别、自动驾驶、机器人统治世界?!还有那个令人毛骨悚然的机器人女孩,索菲亚。emmm…还有黑镜?

    机器之心
  • 给初学者的深度学习入门指南

    这个阶段有吴恩达、李飞飞、GeoffreyHinton、Ian Goodfellow等传奇人物的卓越贡献

    Crossin先生
  • Docker 完全指南

    Docker 作为新瓶装旧酒的一门技术,用简单便捷的操作极大改变了软件开发的流程与生态环境,本文我们就来了解一下。注:Docker 目前已改名为 Moby。

    小小科
  • 爬虫万金油,一鹅在手,抓遍全球

    第一点没什么捷径可走,套路见得多了,也就有经验了。关于第二点,今天咱们就来介绍一个小工具,在某些需求场景下,或许可以给你省不少事。

    Crossin先生

扫码关注云+社区

领取腾讯云代金券