首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

TensorBoard Projector 简易指南

原文发表在 TensorBoard Projector 简易指南 - Alan Lee。 TensorBoard(TB)是一个非常棒的模型可视化工具,早期我也写过一篇文章来详细介绍各个面板。...其中最吸引我的面板之一就是 Projector,虽然我现在工作中并不怎么用到。 现在终于抽出时间,来完整体验并写一篇 TensorBoard Projector(TBP)的简易教程。...projector_config.pbtxt:用于告诉 TBP 上述文件的位置以及其他配置。 下面我们就来一步一步看如何得到这些文件。...我们可以用以下程序来生成该文件: from tensorboard.plugins import projector config = projector.ProjectorConfig() embedding...现在我们终于可以启动 tensorboard 了: $ tensorboard --logdir=projector/ projector/ 就是你上面指定的 logdir 。

1.5K10
您找到你想要的搜索结果了吗?
是的
没有找到

对比学习也会维度崩溃?LeCun和田渊栋团队新作,DirectCLR帮你解决各种崩溃!

从经验上看,增加projector可以显著提高学习到的表现和下游表现的性能,检查表示层的spectrum也会发现有无projector的差异。...研究人员训练了两个带projector和不带projector的SimCLR模型,当模型在没有projector的情况下进行训练时,SimCLR 会发生表示空间中的维度崩溃。...对比学习中的projector对于防止表征空间中的维度崩溃至关重要,基于这个理论,研究人员提出: 梯度将会驱动projector权重矩阵与编码器主干的最后一层对齐,因此projector 权重矩阵只需要是对角的...研究人员还进行了三项消融实验: 固定的低秩projector:这时DirectCLR退化为一个带有固定线性、对角矩阵projector的SimCLR。...可训练的对角线projector:研究人员训练了一个SimCLR模型,该模型带有一个可训练的projector ,但仅限于对角线的数值。

26520

训练成本不到1000元,直降90%!NUS、清华发布VPGTrans:轻松定制类GPT-4多模态大模型

但值得强调的是,由于训练的主要开销在LLM(参数巨多),仅仅训练projector的开销不会比同时训练VPG和projector的开销小太多。...然后,我们将词向量转化器和 上的projector融合作为projector的初始化。 通过这个初始化,我们可以将projector的warm-up训练由3个epoch减为2个epoch。...(4)projector可以在超大学习率下快速收敛: 我们进一步实验发现,projector由于其参数量较少,可以使用5倍的正常学习率进行训练而不崩溃。...通过5倍学习率的训练,projector warm-up可以进一步被缩短到1个epoch。 (5)一个附加发现: 虽然projector warm-up很重要,但仅训练projector是不够的。...projector进行融合作为新projector的初始化,然后用5倍学习率训练新projector一个epoch。

29050
领券