如何在Tensorflow 2.0中冻结隐藏层中的权重来重新训练DNN - 腾讯云开发者社区

上期我们一起学习了深度学习三人行(第3期)---- TensorFlow从DNN入手简单的介绍了ANN(人工神经网络），并训练了我们第一个DNN(深度神经网络)，但是一个非常浅的DNN，只有两个隐藏层...最后我们重新开启一个session，并初始化所有变量，restore需要的1到3隐藏层的变量，利用这些变量在新任务上训练模型并保存。...第三行中获取到隐藏层3，4和输出层的层所有的训练变量列表。这样就除去了浅层1，2的变量。接下来将提供的训练变量列表给到优化器minimize函数。这样就是实现浅层1，2的冻结。...2.5 缓存冻结层因为冻结层无法改变，可以为每个训练实例缓存最顶层冻结层的输出。因为训练多次遍历整个数据集，这会给你带来巨大的速度提升，因为训练实例每次只需要经过冻结层一次。...最后一行运行前面定义的训练操作（隐藏层1，2），并把二个隐藏层的批量输出喂给模型作为整个模型输出中隐藏层1，2的输出，由于我们已经提供了隐藏1，2的输出，因此模型不会再尝试评估它。

9258 0

《Scikit-Learn与TensorFlow机器学习实用指南》第11章训练深度神经网络（上）

第 10 章介绍了人工神经网络，并训练了我们的第一个深度神经网络。但它是一个非常浅的 DNN，只有两个隐藏层。...第一个 DNN 的较低层可能已经学会了检测图片中的低级特征，这将在两个图像分类任务中有用，因此您可以按照原样重新使用这些层。...现在，层 1 和层 2 被冻结：在训练过程中不会发生变化（通常称为冻结层）。缓存冻结层由于冻结层不会改变，因此可以为每个训练实例缓存最上面的冻结层的输出。...（冻结层 1 和 2），并从第二个隐藏层（以及该批次的目标）为其输出一批输出。...如果仍然无法获得良好的性能，并且您的训练数据很少，请尝试删除顶部的隐藏层，并再次冻结所有剩余的隐藏层。您可以迭代，直到找到正确的层数重复使用。

5642 0

您找到你想要的搜索结果了吗？

是的

没有找到

Opencv+TF-Slim实现图像分类及深度特征提取

tensorflow轻量级库，在slim库中已经有很多官方实现的网络并用ImageNet进行了预训练，如VGG、ResNet、Inception等，可直接拿来使用。...本文将用Opencv的dnn模块调用预训练的InceptionV4模型进行图像分类及深度特征的提取。...路径下在https://github.com/tensorflow/models/tree/master/research/slim 下载预训练的分类模型，如图 ?...再通过tensorflow的freeze_graph.py文件导出冻结的InceptionV4文件，大小为160M左右的inception_v4_freeze.pb。此文件用于被Opencv调用。...基于InceptionV4实现特征提取图像分类模型最后逻辑层是输出分类得分，最后一个卷积层/池化层输出的结果为图像特征数据，通过在推断时候指定该层名称就可以实现在OpenCV DNN中通过CNN网络实现图像特征提取

1.4K6 0

《Scikit-Learn与TensorFlow机器学习实用指南》第11章训练深度神经网络（下）

要使用 TensorFlow 实现dropout，可以简单地将dropout()函数应用于输入层和每个隐藏层的输出。...创建一个新的 DNN，它复制先前模型的所有预训练的隐藏层，冻结它们，并用新的一层替换 softmax 输出层。...在数字 5 到 9 训练这个新的 DNN ，每个数字只使用 100 个图像，需要多长时间？尽管样本这么少，你能达到高准确度吗？尝试缓存冻结的层，并再次训练模型：现在速度有多快？...首先构建两个 DNN（我们称之为 DNN A 和 B），它们与之前构建的 DNN 类似，但没有输出层：每个 DNN 应该有五个隐藏层，每个层包含 100 个神经元，使用 He 初始化和 ELU 激活函数...现在通过复用和冻结 DNN A 的隐藏层，并添加 1 0个神经元的 softmax 输出层来创建一个新的 DNN。

1.1K2 0

《Scikit-Learn与TensorFlow机器学习实用指南》第10章人工神经网络

20 世纪 80 年代初，随着新的网络体系结构的发明和更好的训练技术的发展，人们对人工神经网络的兴趣也在重新燃起。...例如，下面的代码训练两个隐藏层的 DNN（一个具有 300 个神经元，另一个具有 100 个神经元）和一个具有 10 个神经元的 softmax 输出层进行分类： import tensorflow as...占位符X将作为输入层; 在执行阶段，它将一次更换一个训练批次（注意训练批次中的所有实例将由神经网络同时处理）。现在您需要创建两个隐藏层和输出层。...现实世界的数据通常以这样一种分层的方式进行结构化，DNN 自动利用这一事实：较低的隐藏层模拟低级结构（例如，各种形状和方向的线段），中间隐藏层将这些低级结构组合到模型中级结构（例如，正方形，圆形）和最高隐藏层和输出层将这些中间结构组合在一起...训练将会更快，需要更少的数据（我们将在第 11 章中进行讨论）每层隐藏层的神经元数量显然，输入和输出层中神经元的数量由您的任务需要的输入和输出类型决定。

8603 1

业界 | 解释深度神经网络训练全过程：谷歌发布SVCCA

两个特定应用是：对比不同网络学得的表征；解释 DNN 隐藏层学得的表征。此外，谷歌开源了代码以便研究社区可以用该方法进行实验。...检查最高激活神经元是计算机视觉领域中解释 DNN 的常用方法，但是在该示例中，net1 和 net2 中的最高激活神经元没有清晰的对应关系，尽管二者实在同一个任务上进行训练的。...例如，左上（「0% trained」）中，x 轴表示 net1 在 100% 训练后层的增加深度，y 轴表示 net1 在 0% 训练时层的增加深度。...谷歌的研究人员找到了「自下而上」收敛的证据，接近输入的层先收敛，层越高收敛时间越长。这种现象引出了一个更快的训练方法「冻结训练（Freeze Training）」，详情请参考论文。...谷歌的论文中详细论述了目前该研究成果的更多细节，同时也探索了不同应用。如通过投影在 SVCCA 输出来压缩 DNN，和冻结训练方法（一种更节省运算量的深度神经网络训练法）。

6916 0

寻找最佳的神经网络架构，韩松组两篇论文解读

然后通过训练集上的标准梯度下降更新激活路径的权值参数 (图 2 左)。当训练结构参数时，将权值参数冻结，然后重置二进制门并更新验证集上的结构参数 (图 2 右)。这两个更新步骤交替执行。...一旦完成了体系结构参数的训练，我们就可以通过修剪冗余路径得到紧凑的网络结构。在这项工作中，作者简单地选择路径权值最高的路径。 ?...模型量化是对深度神经网络（DNN）进行压缩和加速的一种广泛使用的技术。在许多实时机器学习应用（如自动驾驶）中，DNN 受到延迟、能量和模型大小的严格限制。...在传统的量化方法中，DNN 所有层的权重和激活值使用固定数目的 bit 位，如图 1(a) 所示，固定精度量化为每层的权重和激活值都分配了 8bit。...如何简化这一步骤，自动化探索不同硬件加速器上每一层权重和激活的位宽，是迫切需要的解决的！如何在硬件上优化给定模型的延迟和能量消耗。

1.3K1 0

LiRank: LinkedIn在2月新发布的大规模在线排名模型

等温校准层（Isotonic Calibration Layer）在深度神经网络（DNN）中，等温校准层（Isotonic Calibration Layer）用于改善网络输出概率的校准。...为了克服这些问题，作者开发了一个定制的等温回归层，并直接与深度神经网络集成。这一层在网络中是可训练的，它使用分段拟合的方法对预测值进行分类，并为每个分类分配可训练的权重。...作者在隐藏层引入了受Gate Net启发的门控机制来调节信息流，以最小的额外计算成本增强学习，并持续提高在线性能。...增量训练大型推荐系统需要经常更新，作者使用增量训练，不仅从先前的模型初始化权值，而且根据当前和先前模型权值的差异添加信息正则化项，并通过遗忘因子进行调整。...训练的可扩展性为了增强训练大型排名模型的可扩展性，使用了几种优化技术: 4D模型并行:利用Horovod跨多个gpu扩展同步训练，在TensorFlow中实现了4D模型并行方法。

1841 0

AI和IOT的结合：现在和未来

无监督ML算法（如高斯混合模型（GMM））可用于模拟电机的正常行为，并检测电机何时开始偏离其基线。无监督方法适用于发现数据中的隐藏模式，而不需要标记数据。...在输入层和输出层之间，有一个或多个隐藏层（图5）。一层的输出通过加权连接连接到下一层的节点。网络通过修改这些权重来学习输入和输出之间的映射。...通过使用多个隐藏层，DL算法学习需要从输入数据中提取的特征，而不需要将特征明确地输入到学习算法中。这被称为“特征学习”。 ?...其中一些网络显示了对控制和监控物联网应用的承诺: 深层神经网络(Deep Neural Network, DNN)是一种完全连接的人工神经网络, 具有许多隐藏层(因此深层)。...图6 机器人控制应用的深度强化学习训练 DNN需要大量的训练数据, 这些数据最好包括来自学习所需要的所有不同状态或条件的数据。

5412 0

Meta-Transfer Learning for Few-Shot Learning：元迁移学习的小样本学习

本文的贡献如下：1.提出MTL方法，使用经过大规模数据集预训练得到的DNN权值，来处理小样本学习任务；2.提出HT meta-batch学习策略，迫使MTL通过hard task进行学习；3.在两个小样本学习...图1 MTL方法三阶段如图1所示，本文的方法共包含3个阶段： a)在大规模数据集上训练一个DNN，并固定较低层级的卷积层作为特征提取器(Feature Extractor)； b)在MTL阶段，学习特征提取器神经元的...本文在元训练中有意挑选出每个任务中的失败案例(failure case)，并将其数据重新组合为难度较大任务，迫使meta-learner"在困难中成长"。...在从当前的meta-batch {T1−k}的所有k个任务中获得所有failure class之后，从这些数据中重新采样任务。...五、结论本文在MAML的基础上，使用了一个较深的预训练DNN模型，为了更好地发挥DNN的效果，在固定DNN每层参数不变的情况下，为每层的权值和偏差分别设置了可学习的scaling和shifting，这样可以降低参数数量

3.4K2 0

【人工智能】全景解析：【机器学习】【深度学习】从基础理论到应用前景的【深度探索】

伦理问题：超人工智能引发了关于AI安全性、控制权和道德影响的重大讨论。...深度学习：人工智能的核心 3.1 深度神经网络（DNN） 3.1.1 定义与结构深度神经网络（DNN）是由多个层次的神经元组成的神经网络模型，每一层的输出作为下一层的输入。...其核心思想是通过多层抽象提取数据中的高级特征。结构：输入层、隐藏层、输出层。每一层中的神经元通过加权求和、激活函数和反向传播算法进行学习和优化。前向传播：输入数据通过网络层层传播，产生输出。...实例：使用TensorFlow构建一个简单的DNN模型进行手写数字识别（MNIST数据集），代码示例如下：反向传播：通过计算误差并将其反向传播到各个层，更新权重，以最小化误差。...如何在保护隐私的同时发挥AI的潜力是一个重大挑战。实例：面部识别技术在公共场所的应用，引发了关于隐私保护的争议。讨论：AI系统中的偏见和歧视问题广受关注，特别是在决策系统中，如招聘、贷款审批等。

1961 0

机器学习之于IOT浅见

一种非监督的机器学习算法, 如高斯混合模型(GMM) , 可以用来模拟电机的正常行为, 并检测电机何时开始偏离其基线。非监督的方法有利于发现数据中隐藏的模式, 而无需对数据进行标记。...第一层被称为输入层, 它是输入信号或数据的接口。最后一层是输出层, 这一层中神经元输出最终的预测或结果。在输入和输出层之间, 有一个或多个隐藏层(图5)。一层的输出通过加权后连接到下一层的节点。...网络通过修改这些权重来学习输入和输出之间的映射。通过使用多个隐藏层, 深度学习算法从输入数据中提取特征, 而不需要明确地将特征输入到算法中。这被称为"特征学习"。 ?...其中一些网络显示了对控制和监控物联网应用的承诺: 深层神经网络(Deep Neural Network, DNN)是一种完全连接的人工神经网络, 具有许多隐藏层(因此深层)。...图6 机器人控制应用的深度强化学习训练 DNN需要大量的训练数据, 这些数据最好包括来自学习所需要的所有不同状态或条件的数据。

4812 0

基于word2vec训练词向量(一)

回顾下之前所说的DNN训练词向量的模型： DNN模型中我们使用CBOW或者Skip-gram模式结合随机梯度下降，这样每次都只是取训练样本中几个词训练，每完成一次训练就反向传播更新一下神经网络中W和W’...新树的权值是圆脸w_i和w_j对应的权值之和，将新树作为新加入的一棵树，删除原来的w_i,w_j树，重新选取两棵最小的树合并，以此类推直到所有的树都合并了。...3）输出层：输出层是对应一棵霍夫曼树，其中叶子节点就是对应词汇表中的词，非叶子节点即（黄色节点）等价于原来DNN模型中隐藏层到输出层的参数W’，用θ_i表示该节点的权重，是一个向量，根节点是投影层的输出...Google的Tomas Mkolov就发现了如果将DNN模型中的隐藏层移除，训练出来的词向量就会成大量线性相关，于是就有了我们在上一篇开头所说的神奇的地方：第二个改变是为了针对降低原来DNN的softmax...的计算量，我们把softmax计算改成了沿着一棵霍夫曼树找叶子节点的计算，这里霍夫曼树德非叶子节点相当与DNN中隐藏层到输出层的权重，在霍夫曼树中不需要计算所有的非叶子结点，只需要计算找寻某个叶子结点时经过的路径上存在的节点

1.6K5 0

使用OpenCV加载TensorFlow2模型

使用OpenCV加载模型 OpenCV在3.0的版本时引入了一个dnn模块，实现了一些基本的神经网络模型layer。在最新的4.5版本中，dnn模块使用函数 readNet 实现模型加载。...不过根据官方解释，OpenCV不支持TensorFlow所推荐的模型保存格式 saved_model 。所以在加载模型之前，模型需要首先被冻结。...冻结网络在之前的文章“TensorFlow如何冻结网络模型”中介绍过了冻结网络的具体含义以及原理。但是在TensorFlow2中网络冻结似乎被弃用了，文中提到的冻结脚本也无法使用。...幸运的是，网络冻结的原理仍然有效，而且OpenCV作者提供了一小段示例样本展示了冻结网络的方法如下： import tensorflow as tf from tensorflow.python.framework.convert_to_constants...它通常意味着加班、业绩压力以及可能的推倒重来。软件行业中，issue这个词常被用来指代计算机程序使用过程中出现的异常表现。

1.7K2 0

TensorFlow 1.x 深度学习秘籍：1~5

在第一章中，我们介绍了从 TensorFlow 中读取文件的方法。在本秘籍中，我们将重点介绍如何在训练之前从 CSV 文件读取和预处理数据。...学习率，最大周期数，要训练的迷你批次的批次大小以及隐藏层中神经元的数量都是超参数。...然后，将该网络与也已单独训练的自定义网络并置。然后，并列的网络作为一个整体进行了重新训练，使 VGG16 的 15 个较低层保持冻结。这种组合非常有效。...然后我们冻结 Inception 中的顶层并微调 Inception 层。...附加一些其他的密集和丢弃层，以创建多层感知机并增强我们的深度学习网络的功能。为了简单起见，我们不会在 5 中重新训练组合网络，而是使用已经在线提供的预先训练的权重集。

2.5K2 0

FPGA 超越 GPU，问鼎下一代深度学习主引擎

图1 深度神经网络概述神经网络计算会通过网络中的每个层。对于给定层，每个神经元的值通过相乘和累加上一层的神经元值和边权重来计算。计算非常依赖于多重累积运算。DNN计算包括正向和反向传递。...正向传递在输入层采样，遍历所有隐藏层，并在输出层产生预测。对于推理，只需要正向传递以获得给定样本的预测。对于训练，来自正向传递的预测错误在反向传递中被反馈以更新网络权重。这被称为反向传播算法。...新兴趋势是采用远低于32位的紧凑型低精度数据类型， 16位和8位数据类型正在成为新的标准，因为它们得到了DNN软件框架（例如TensorFlow ）支持。...在性能/功耗比方面，从保守估计到激进估计，Intel Stratix 10 比 Titan X 要好2.3倍到4.3倍， FPGA如何在研究测试中堆叠结果表明，Intel Stratix 10 FPGA...该团队还指出，除了DNN之外，FPGA在其他不规则应用以及延迟敏感（如ADAS和工业用途）等领域也有机会。

9955 0

系列 | OpenVINO视觉加速库使用二

Tensorflow层支持模型优化器对各种深度学习框架模型的支持并非是100%的，以tensorflow为例，只有下面这些层构建的模型才可以被模型优化器转换为中间层IR(.xml与.bin文件)，R5...注意：上述支持层构建的tensorflow模型才可以被转换成IR模型！...特别值得赞扬的是模型优化器在R4版本中开始支持原生的tensorflow与基于tensorflow对象检测框架预训练与迁移学习两种方式生成的tensorflow模型。...02 导出PB文件或者冻结预测图如果不知道如何操作可以看我们公众号以前的文章即可，文章链接如下： Tensorflow如何导出与使用预测图 tensorflow模型导出与OpenCV DNN中使用...表示交换R与B通道顺序上述的运行脚本与参数只能支持tensorflow本身的导出PB文件，对tensorflow对象检测框架中的预训练模型与自定义训练生成的模型无法正确生成IR。

3.5K5 1

Tensorflow + OpenCV4 安全帽检测模型训练与推理

训练过程中可以通过tensorboard查看训练结果：模型导出完成了40000 step训练之后，就可以看到对应的检查点文件，借助tensorflow object detection API框架提供的模型导出脚本...，可以把检查点文件导出为冻结图格式的PB文件。...相关的命令行参数如下：得到pb文件之后，使用OpenCV4.x中的tf_text_graph_faster_rcnn.py脚本，转换生成graph.pbtxt配置文件。...模型导出与OpenCV DNN中使用使用OpenCV DNN调用模型在OpenCV DNN中直接调用训练出来的模型完成自定义对象检测，这里需要特别说明一下的，因为在训练阶段我们选择了模型支持600...可见模型还可以继续训练！避坑指南： 1. 下载的公开数据集，记得用opencv重新读取一遍，然后resave为jpg格式，这个会避免在生成tfrecord时候的图像格式数据错误。

2.5K2 0

EeSen、FSMN、CLDNN、BERT、Transformer-XL…你都掌握了吗？一文总结语音识别必备经典模型（二）

除了输出层之外，在预训练和微调中使用了相同的架构。使用相同的预训练模型参数来初始化不同下游任务的模型。在微调过程中，所有的参数都要进行微调。...对于一些token级别的任务（如，序列标注和问答任务），就把[公式] 输入到额外的输出层中进行预测。对于一些句子级别的任务（如，自然语言推断和情感分类任务），就把C输入到额外的输出层中。...如下图所示：图2 segment为4的Vanilla模型的说明在训练阶段，处理后面的段时，每个隐藏层都会接收两个输入：一个是该段的前面隐藏层的输出，与vanilla Transformer相同（...因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。RNN与LSTM计算复杂度较高，很难应用于较大任务，如何在不使用循环前馈的基础上更有效的对数据序列构建长依赖？...FSMN是一个标准的全连接前馈神经网络，在其隐藏层中配备了一些可学习的记忆模块。

8101 0

利用 SVCCA 解释深度神经网络

我们研究的两个具体应用是比较不同网络学到的表示和解释 DNN 中的隐藏层学到的表示。...每个 (i,j) 方格随后可以告诉我们层 i 在 100% 训练后的表示与层 j 在 0% 训练时的表示之间的相似程度。左下角是输入层，在 0% 到 100% 训练状态下的表示一致，符合预期。...我们找到了自下而上收敛的证据，接近输入的层先收敛，层越高收敛时间越长。这就引出了一种更快的训练方法 - 冻结训练。请参阅我们的论文了解详细信息。此外，这种可视化还有助于突出显示网络的属性。...我们在 Imagenet Resnet 中利用了不同的层，其中 0 表示输入，74 表示输出，并比较了隐藏层和输出类别的表示相似性。...我们的论文介绍了目前研究成果的更多细节，也探索了不同的应用，例如，通过投影到 SVCCA 输出来压缩 DNN，以及冻结训练，这是一种更节省计算资源的深度神经网络训练方法。

5716 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

深度学习三人行(第4期)---- TF训练DNN之进阶

《Scikit-Learn与TensorFlow机器学习实用指南》第11章训练深度神经网络（上）

Opencv+TF-Slim实现图像分类及深度特征提取

《Scikit-Learn与TensorFlow机器学习实用指南》第11章训练深度神经网络（下）

《Scikit-Learn与TensorFlow机器学习实用指南》第10章人工神经网络

业界 | 解释深度神经网络训练全过程：谷歌发布SVCCA

寻找最佳的神经网络架构，韩松组两篇论文解读

LiRank: LinkedIn在2月新发布的大规模在线排名模型

AI和IOT的结合：现在和未来

Meta-Transfer Learning for Few-Shot Learning：元迁移学习的小样本学习

【人工智能】全景解析：【机器学习】【深度学习】从基础理论到应用前景的【深度探索】

机器学习之于IOT浅见

基于word2vec训练词向量(一)

使用OpenCV加载TensorFlow2模型

TensorFlow 1.x 深度学习秘籍：1~5

FPGA 超越 GPU，问鼎下一代深度学习主引擎

系列 | OpenVINO视觉加速库使用二

Tensorflow + OpenCV4 安全帽检测模型训练与推理

EeSen、FSMN、CLDNN、BERT、Transformer-XL…你都掌握了吗？一文总结语音识别必备经典模型（二）

利用 SVCCA 解释深度神经网络

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐