手把手教你入门使用 tf-slim 库 | 回顾

tf-slim 是基于 tensorflow 的高层封装库,包含了目前最新的 reset-net,Google-Inception 等网络的实现及图像处理算法,支持多 GPU 并行。使用 tf-slim 库,可以帮助你快速搭建图像处理 (包括分类,分割) 的生产环境,快速开发初代产品。本文内容为来自北京信息科技大学计算机应用技术专业研二在读生吴正一讲解的怎么快速入门 tf-slim。

近期,在雷锋网 AI 研习社举办的线上分享会上,来自北京拓尔思研发部三部图像处理实习生吴正一为大家详细介绍了 tf-slim 库的入门使用知识,注意事项,以及显卡选购和机器配置。

吴正一,北京信息科技大学计算机应用技术专业研二在读。目前在北京拓尔思信息技术股份有限公司,担任研发三部图像处理实习生,负责专利图像检索系统开发; 主要研究方向为计算机视觉与深度学习。

以下是他在 AI 研习社直播的分享内容整理:

大家好,我是来自北京信息科技大学计算机应用技术专业研二在读生吴正一,目前是拓尔思图像组实习。今天的分享主题是 tf-slim 怎样快速上手,主要讲基于 TensorFlow 的高层封装库 tf-slim 入门知识。

分享提纲

  • 装 tensorflow-gpu, 配置 tf-slim 环境
  • 使用 tf-slim 训练自己的数据,以及将原始图像转换成 .tfrecord 数据文件
  • 使用 tf-slim 加载 tfrecord 训练图像分类模型
  • 使用训练好的模型对单张图像分类
  • GPU 的选购和机器配置等

tf-slim 适用于快速处理工作上大型图像数据。之所以它能处理大型图像数据,是因为他有一个很好的数据处理过程,它能把原始的图像转换成 .tfrecord 队列格式,读取特别快,也更加稳定。

tf-slim 优点:

  • 有最新的的网络实现和预训练模型,能够快速产出。谷歌把一些最新的,最重要的大型网络已经实现好了,封装在 tf-slim 里面,可直接调用。
  • 标准化的数据处理模板,适用于大型数据集。这个是比其他要好,假设处理一些数据,还要处理各种图像,这个提供了一套标准化数据处理,
  • 多 GPU 并行训练,快速产出
  • 基于 TensorFlow,可实现精细化操控

原生 TensorFlow 框架可比作为汽车配件、钢板原材料,Keras 可比作发动机、车轮、车模型,Keras 改源代码比较麻烦。tf-slim 可比作一辆整车,但是又可以拆卸,因为它把最新的网络实现和预训练模型已经写好了,既封装了 一些网络实现,又能实现精细化的操作(可改源代码)。

tf-slim 配置

1、配置 GPU 版本的 TensorFlow,

2、加载 tf-slim 库

使用 tf-slim 训练自己的模型

以上具体参数可在文末视频中观看。实际上用的时候,不可能和网上一样,不可能一个文件跑到底。从训练最后一层开始,以及验证,然后再训练所有,再验证,分四个文件来跑。

视频中看 scripts,可看到数据流动的过程。

将数据转换成 .tfrecord 文件

训练模型

从第一个文件开始训练,第二个验证,第三个慢慢调参,第四个再验证。需要注意的是 checkpoint 文件的用法,它可以支持断点,如果训练停了之后,下一次它可以从最新的模型接着训练。如果不需要接着上一次继续训练,要把整个 checkpoint 文件删掉。

使用 model 分类测试图像

这里有一个坑需要注意一下,tf-slim 未提供单张图像的预测脚本,自己用的时候需要写一个单张图片加载模型,以及单张图片的分类。

选购 GPU 的考虑及性价比对比,横坐标是性能,纵坐标为价格。

TensorFlow 模型训练效率对比效果

待验证:1080 GPU 在主机上的训练速度,双 1080/1080Ti GPU 的训练速度提升问题(修改 TensorFlow 网络架构)。

购买显卡,主板等硬件注意事项:

  • 主板需要支持 SLI(专为 Nividia 显卡)双路连接技术。
  • 双显卡之间需要使用桥接器连接。如图一所示,分硬联和软联,硬联不可弯折。
  • 主板支持 PCI-E*16 插槽,装两张显卡需要至少两个 PCI-E*16 插槽(考虑到显卡占用较大物理空间,PCI-E*16 插槽最好是和 PCIE*1 插槽交叉排列。)
  • 显卡电源线接在电源上,GTX1080 等高端消费级显卡需要 4*2pin 的电源接口。

以上就是吴正一分享的主要内容。点击阅读原文,直达视频回放页面。

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2017-12-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

最强NLP模型BERT喜迎PyTorch版!谷歌官方推荐,也会支持中文

谷歌的最强NLP模型BERT发布以来,一直非常受关注,上周开源的官方TensorFlow实现在GitHub上已经收获了近6000星。

3263
来自专栏AI研习社

TensorFlow 全网最全学习资料汇总之TensorFlow的技术应用【4】

【AI研习社】关注AI前沿、开发技巧及技术教程等方面的内容。欢迎技术开发类文章、视频教程等内容投稿,邮件发送至:zhangxian@leiphone.com 随...

3297
来自专栏量子位

人工智能拯救渣画手,我分分钟画只猫给你看

给活泼的猫主子拍照,我都觉得万分艰难,更不用说画像了。不过,我们刚刚发现了一个AI小应用,分分钟就能画只猫出来。 ? 这个网页版小应用叫edges2cats,你...

4076
来自专栏深度学习与数据挖掘实战

【AI头条&优质资源】时间序列预测模型:使用深度神经网络RNN+Attention机制

放arxiv那天看了一下,整篇paper思路读下来还是非常清晰的,实验效果也很不错。

4522
来自专栏深度学习自然语言处理

库、教程、论文实现,这是一份超全的PyTorch资源列表(Github 2.2K星)

项目地址:https://github.com/bharathgs/Awesome-pytorch-list

1372
来自专栏机器之心

资源 | 利用深度强化学习框架解决金融投资组合管理问题(附 GitHub 实现)

选自GitHub 作者:Zhengyao Jiang、Dixing Xu、Jinjun Liang 机器之心编译 参与:路雪 近日,《A Deep Reinfo...

3176
来自专栏大数据文摘

公交车总迟到?你大概掉进了“等待时间悖论

你到了车站,准备搭乘声称每10分钟一班的公交车。你盯着你的手表留意着时间,结果公交车终于在11分钟后到来。

991
来自专栏CreateAMind

OPENAI进化策略学习-强化学习的扩展替代-速度快!

本文由谷歌翻译 https://blog.openai.com/evolution-strategies/

1322
来自专栏AI研习社

如何利用机器学习预测房价?

对于我在梅蒂斯的最后一个项目,我希望能包含过去三个月里所学到的东西,而预测波特兰房价这个题目正符合我的要求,因为我能够将网络爬取技术、文本自然语言处理,图像上的...

39110
来自专栏机器之心

库、教程、论文实现,这是一份超全的PyTorch资源列表(Github 2.2K星)

项目地址:https://github.com/bharathgs/Awesome-pytorch-list

2274

扫码关注云+社区

领取腾讯云代金券