业界 | 百度成立数据可视化实验室,发布深度学习可视化平台 Visual DL

机器之心整理

参与:吴欣

据百度技术经理祖明的知乎文章介绍,2018 年 1 月 16 日,百度发布开源产品 ECharts(echarts.baidu.com)的最新大版本 4.0,新版本在产品的性能、功能、易用性等各个方面进行了全面提升。此外,百度还一起发布了 ECharts GL 1.0 正式版,ZRender 4.0 全新版本,WebGL 框架 ClayGL、深度学习框架 VisualDL 等数据可视化产品。祖明还提到,随着这些产品的发布,百度正式公布全新升级的数据可视化品牌----「百度数据可视化实验室」。本文对深度学习可视化工具 VisualDL 做了介绍。

VisualDL 项目地址:https://github.com/PaddlePaddle/VisualDL

VisualDL 是一个深度学习可视化工具,可以帮助开发者设计深度学习方面的项目,它目前囊括了标量特征、参数分布、模型结构和图像可视化等特征。该项目的 GitHub 介绍表示这个可视化工具正在快速发展,新的功能也将不断添加到里面。

据祖明介绍,从去年开始,团队和百度 PaddlePaddle 深度合作,打造了一款深度学习可视化平台 VisualDL,也在这次一同发布,希望通过可视化的方法将模型训练过程中的各个参数以及计算的数据流图实时地展现出来,以帮助模型训练者更好的理解、调试、优化模型。用户只需要通过 Visual DL 提供的接口将模型相关的各种参数数据写入日志中,然后 VisualDL 会读取日志中的模型相关数据将其展示出来,这些数据包括模型训练过程中的各种定量的度量、用户传入的或者中间训练过程生成的各种图片、以及神经网络训练过程中的计算数据流图。

目前 VisualDL 提供四个组件,包括计算图、标量、图像和直方图,这和 TensorFlow 中的 TensorBoard 有一些相似。它们都希望追踪神经网络在整个训练过程中的信息,例如迭代的过程中每一层参数是如何变化与分布、损失函数在迭代中的变化与整个计算图的可视化等。以下是 VisualDL 四个组件的简要介绍:

计算图(Graph)

VisualDL 提供的可视化计算图是与 ONNX(Open Neural Network Exchange)相兼容的,通过与 Python SDK 协作,VisualDL 能与最主要的 DNN 框架相匹配,包括 PaddlePaddle、PyTorch 和 MXNet。下图展示了 VisualDL 的计算图可视化:

标量(Scalar)

标量可用来展示训练迭代过程中损失函数的变化趋势。

图像(Image)

图像可用来可视化任何张量或中间生成的图像。

直方图(Histogram)

直方图可用来可视化参数的分布或任何张量的变化趋势等。

VisualDL 的使用

VisualDL 同时提供了 Python SDK 和 C++ SDK,因此我们可以快速地可视化数据,如下展示了如何用 Python 创建一个简单的标量可视化,并且我们从不同的时间戳中插入数据。

import random
from visualdl import LogWriter

logdir = "./tmp"
logger = LogWriter(dir, sync_cycle=10)


# mark the components with 'train' label.
with logger.mode("train"):
    # create a scalar component called 'scalars/scalar0'
    scalar0 = logger.scalar("scalars/scalar0")



# add some records during DL model running, lets start from another block.
with logger.mode("train"):
    # add scalars
    for step in range(100):
        scalar0.add_record(step, random.random())

在训练过程生成了一些日志后,我们可以登录控制面板并查看实时的数据可视化效果,登录的方式也和 TensorBoard 类似,只需要在命令窗口中输入以下命令:

visualDL --logdir <some log dir>

当然,我们也能更改登录端口或远程登陆的主机的 IP 地址。读者若需要了解这一部分的具体过程和安装方法等内容,可详细查阅该 GitHub 项目的说明。

祖明知乎文章地址:https://zhuanlan.zhihu.com/p/32984137

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-01-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

动态 | 谷歌发布机器学习规则: 关于机器学习工程的最佳实践(上)

本文档旨在帮助已掌握机器学习基础知识的人员从 Google 机器学习的最佳实践中受益。以下为上篇,包含术语、概览以及在进行机器学习之前的第 1-20 条规则。

1023
来自专栏新智元

【重磅】谷歌正式发布TensorFlowLite,半监督跨平台快速训练ML模型

来源:Google blog 编译:马文 Cecilia 【新智元导读】谷歌宣布推出 TensorFlow Lite,这是 TensorFlow 的针对移动设...

3789
来自专栏机器之心

现在,所有人都可以在18分钟内训练ImageNet了

该团队的主要训练方法是:fast.ai 用于分类任务的渐进式调整大小和矩形图像验证;英伟达的 NCCL 库,该库整合了 PyTorch 的 all-reduce...

1131
来自专栏AI研习社

从星际2深度学习环境到神经机器翻译,上手机器学习这些开源项目必不可少

本文主要编译于 Github 文章「Getting started with machine learning」(原文链接:https://github.com...

37011
来自专栏目标检测和深度学习

听说了吗?你也可以在18分钟内训练ImageNet了

该团队的主要训练方法是:fast.ai 用于分类任务的渐进式调整大小和矩形图像验证;英伟达的 NCCL 库,该库整合了 PyTorch 的 all-reduce...

1154
来自专栏智能算法

美团推荐算法实践

前言 推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。 随...

4645
来自专栏AI科技评论

谷歌机器学习白皮书全解析 43条黄金法则(二)

【AI科技评论按】:此白皮书为谷歌总结的机器学习(ML)最优实践方法,浓缩了其多年技术积累与经验,尤其是 YouTube、Google Play 和 Googl...

3706
来自专栏张俊红

数学之美(二)

总第75篇 本篇为数学之美连载篇二,你还可以看:数学之美(一) 11|矩阵运算与文本处理: 无论是词汇的聚类还是文本的分类,都可以通过线性代数中的奇异值分解来进...

3415
来自专栏CreateAMind

OPENAI进化策略学习-强化学习的扩展替代-速度快!

本文由谷歌翻译 https://blog.openai.com/evolution-strategies/

1322
来自专栏量子位

AI框架之战继续:TensorFlow也用上了动态计算图

量子位 李林 | 见到“动态”有点激动 Google今天发布了TensorFlow Fold,利用动态计算图来解决因多个输入大小结构不同无法自然地批处理到一起,...

2937

扫码关注云+社区

领取腾讯云代金券