腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
相同
的
预训练模型具有相同
的
输入,多次运行会产生不同
的
输出。
pytorch
我从火炬视觉加载了一个预先训练过
的
Resnet152。我用相同
的
输入图像对模型进行多次评估,但每次输出是不同
的
。很奇怪。有人知道原因是什么
吗
?我
的
代码是import torchfrom PIL import
浏览 4
提问于2022-05-24
得票数 1
1
回答
用BatchNorm进行放火枪
的
训练
deep-learning
、
pytorch
我想知道我是否需要做什么特别的训练时,用BatchNorm
在
火把。据我理解,gamma
和
beta参数按照优化器通常所做
的
那样用梯度
更新
。然而,批次
的
均值
和
方差是使用动量缓慢
更新
的
。那么,当均值
和
方差参数被
更新
时,我们是否需要向优化器指定,还是py手电筒会自动处理这个
问题
? 是否有方法访问BN层
的
均值
和
方差,以便在我训练模型时确保它正在改变。如果需要的话,这里是
浏览 1
提问于2019-09-10
得票数 3
回答已采纳
1
回答
在
Pytorch
内置
的
自定义
批处理
规范
中
更新
running_mean
和
running_var
有
问题
吗
?
python-3.x
、
deep-learning
、
pytorch
、
batch-normalization
、
multi-gpu
我一直
在
尝试实现一个
自定义
的
批量归一化功能,以便它可以扩展到多GPU版本,特别是,
Pytorch
.The
自定义
批处理
规范
中
的
DataParallel模块
在
使用1个GPU时工作正常,但当扩展到2个或更多时,运行均值
和
方差在前向函数
中
工作,但当它从网络返回时,均值
和
方差被重新初始化为0
和
1。torch.nn.DataParallel
在</em
浏览 45
提问于2020-04-20
得票数 3
回答已采纳
1
回答
为什么
中
只有一个动量参数?
keras
、
conv-neural-network
、
batch-normalization
、
momentum
我是CNN
的
新手,
在
CNN中使用keras实现Batchnorm。
批处理
规范
层具有4*Feature_map( prev层)参数。具体情况如下:
running_mean
= momentum *
running_mean
+ (1 - momentum) * sample_mean
running
浏览 4
提问于2021-01-05
得票数 0
回答已采纳
1
回答
BatchNorm2d
的
running_mean
/
running_var
在
PyTorch
中意味着什么?
deep-learning
、
pytorch
、
mean
、
variance
、
batch-normalization
我想知道
running_mean
和
running_var
到底可以从nn.BatchNorm2d调用什么。]) 我无法理解
running_mean
和
running_var
在
Pytorch
官方文档
浏览 7
提问于2022-07-07
得票数 1
回答已采纳
2
回答
register_parameter
和
register_buffer
在
PyTorch
中有什么区别?
machine-learning
、
deep-learning
、
neural-network
、
pytorch
模块
的
在
训练过程中被改变,也就是说,它们是
在
神经网络训练过程中学到
的
,但是什么是 它是
在
神经网络训练过程中学习
的
吗
?
浏览 0
提问于2019-08-18
得票数 26
1
回答
为什么
PyTorch
BatchNorm1D
在
规范
整数类型张量
的
同时给出
的
"batch_norm“不是为‘长’错误实现
的
?
python
、
machine-learning
、
deep-learning
、
pytorch
、
normalization
我试着学习
Pytorch
框架
中
的
一些函数,
在
规范
一个简单
的
整数张量时由于下面的错误而被困住了。有人能帮我解决这个
问题
吗
。108 /opt/conda/lib/python3.7/site-packages/torch/nn/functional.py in batch_norm(input,
running_mean
,
run
浏览 7
提问于2022-11-28
得票数 0
3
回答
用同步装置
和
vars实现多GPU BN层
的
方法
tensorflow
、
caffe
、
torch
、
multi-gpu
、
batch-normalization
在
使用多GPU进行培训时,我想知道用同步
批处理
统计信息实现
批处理
规范
化层
的
可能方法。Tensorflow一般,它
和
咖啡豆<
浏览 3
提问于2017-03-27
得票数 12
1
回答
使用Tensorflow对象检测API时,验证损失较高(使用训练数据集),而训练损失较低
tensorflow
、
object-detection-api
、
tensorflow-model-garden
在
使用model_main.py脚本运行更快
的
RCNN模型时,我故意将评估数据集设置为与训练数据集(TF_DATA)相同,并期望
在
评估中看到与训练
中
相同
的
损失。但是,评估损失(
在
4000个时期之后):Loss/BoxClassifierLoss/localization_loss0.10792526 Loss/RPNLoss
浏览 13
提问于2020-08-04
得票数 1
1
回答
基于特征
的
4D数据
批处理
规范
化而不是通道(
PyTorch
)
python
、
machine-learning
、
neural-network
、
pytorch
、
batch-normalization
现在,
在
一维
批处理
规范
化
中
,对整个
批处理
中
的
每个特性进行标准化;如果x^i_j是批
中
i^th样本输出
的
j^th特性,那么固定j
的
所有x^i_j都是
规范
化
的
(即选择单个特征,这将导致整个
批处理
中
的
标准高斯样本现在,对于2d
批处理
规范
化,它似乎有点不同:对于整个
批处理
中<
浏览 3
提问于2022-05-11
得票数 0
3
回答
增加
批处理
规范
化会降低性能。
python
、
deep-learning
、
pytorch
、
batch-normalization
我正在使用
PyTorch
实现一个基于骨架
的
动作识别的分类网络。该模型由三个卷积层
和
两个完全连通
的
层组成。
在
NTU+D数据集中,这个基本模型给了我大约70%
的
精度.我想了解更多关于
批处理
规范
化
的
知识,所以我为所有层添加了一个
批处理
规范
化,除了最后一个层。令我惊讶
的
是,评估
的
准确率下降到60%,而不是增加,但训练
的
准确率却从80%提高到90%。有人能
浏览 1
提问于2019-08-12
得票数 4
回答已采纳
1
回答
多个数据集
的
批
规范
化?
deep-learning
、
dataset
、
pytorch
、
data-augmentation
、
batch-normalization
我正在做一个生成合成数据
的
任务,以帮助我
的
模型
的
培训。这意味着训练是
在
合成+真实数据上进行
的
,并在真实数据上进行测试。我被告知,批量归一化层可能试图
在
训练时找到对所有人都有好处
的
权重,这是一个
问题
,因为我
的
合成数据
的
分布并不完全等于实际数据
的
分布。因此,我们
的
想法是拥有不同
的
批次归一化层
的
权重
的
“副本”。因此,神经网络可以对合成
浏览 0
提问于2021-07-29
得票数 0
2
回答
ImageNet预训练
的
ResNet50骨干骨与TensorFlow不同
tensorflow
、
deep-learning
、
pytorch
、
resnet
、
pre-trained-model
,你可能会说.但我很难用随机初始化
的
差异来解释一个显著
的
差异。 当然,这种差异被处理分类任务
的
密集层所吸收,但是:这
浏览 1
提问于2021-05-03
得票数 5
1
回答
Numpy/
PyTorch
中
的
近邻差
python
、
numpy
、
pytorch
我需要一个
在
PyTorch
中
编写
自定义
丢失函数,但是由于
PyTorch
与NumPy
的
相似性,基于Numpy
的
解决方案也会工作。我
有
两个张量(Numpy数组) p
和
q of shape (b,...)。对于p
中
的
每个
批处理
元素,我希望计算q
的
任何
批处理
元素
的
最小差值w.r.t。if tmp_loss<tmp_min:
浏览 10
提问于2022-10-15
得票数 0
回答已采纳
2
回答
在
PyTorch
中
实施培训
python
、
deep-learning
、
cnn
、
pytorch
、
yolo
我希望
在
PyTorch
完成以下任务-1)我如何单独处理每个样本?我是否通过设置
批处理
大小= 1来进行此操作?或者禁用自动
批处理
有
什么好处。如果是的话,我该怎么做。2)如何从dataset
中
准确地删除样本,以便进行进一步
的
浏览 0
提问于2020-05-26
得票数 1
1
回答
如何处理多个数据集
的
批量归一化?
python
、
pytorch
、
dataset
、
conv-neural-network
、
batch-normalization
我正在处理一项生成合成数据
的
任务,以帮助训练我
的
模型。这意味着训练是
在
合成+真实数据上执行
的
,并在真实数据上进行测试。有人告诉我,批量归一化层
在
训练时可能会试图找到对所有人都有利
的
权重,这是一个
问题
,因为我
的
合成数据
的
分布与实际数据
的
分布并不完全相等。因此,我们
的
想法是让批归一化层
的
权重
有
不同
的
“副本”。因此,神经网络为合成数据
和</em
浏览 2
提问于2021-08-27
得票数 1
1
回答
Keras多gpu
批处理
规范
化
deep-learning
、
keras
、
tensorflow
、
batch-normalization
1)
批处理
规范
化层是如何与多点_gpu_模型工作
的
?2)保存模型时,保存了哪些批
规范
化参数?(因为
在
Keras中使用多个gpus时,必须按照建议
的
这里保存原始模型)?具体而言,该功能实现了单机多GPU数据并行. 这对
批处理
标准化意味着什么?
浏览 0
提问于2019-03-22
得票数 3
2
回答
在
训练具有多个网络
的
类GAN图时,如何确保tf.control_dependencies()
的
正确行为?
python
、
tensorflow
我想我可以将这个
问题
总结为:“当我
有
两个唯一
的
网络时,我如何使用
批处理
标准化?” 我正在训练本质上是GAN
的
GAN,鉴别器
和
生成器都有Batch Norm层。这有点不同,因为与普通
的
GAN框架不同,这两个网络都有各自完全独立
的
损失函数。第二个网络基本上只是用来测量生成器在任务
中
的
“错误程度”,但它们都应该完全独立地进行
更新
。我
的
网络都是
在
单独
的
G
浏览 2
提问于2018-09-13
得票数 0
1
回答
为什么标准化会导致我
的
网络
在
训练
中
具有爆炸性
的
梯度?
python
、
tensorflow
、
image-processing
、
pytorch
、
autoencoder
我已经构建了一个网络(
在
Pytorch
中
),它在图像恢复方面表现良好。我使用
的
是带有Resnet50编码器主干
的
自动编码器,然而,我只使用批量大小为1
的
编码器。我正在试验一些频域
的
东西,这些东西只允许我一次处理一幅图像。 我发现我
的
网络运行得相当好,然而,只有当我从网络
中
删除所有
批处理
归一化时,它才能运行良好。当然,
批处理
规范
对于
批处理
大小为1
的
浏览 4
提问于2021-06-25
得票数 3
回答已采纳
1
回答
使用带有
自定义
CUDA扩展
的
torch.nn.DataParallel
neural-network
、
deep-learning
、
pytorch
、
libtorch
据我所知,
内置
的
PyTorch
操作都通过隐式矢量化自动处理
批处理
,允许跨多个GPU并行。但是,当按照CUDA编写
自定义
操作时,给出
的
LLTM示例执行
批处理
不变
的
操作,例如按元素计算Sigmoid函数
的
梯度。 但是,我
有
一个用例,它不是
批处理
元素不变
的
,也不是可向量化
的
。运行在单个GPU上
的
我目前(效率不高)循环处理
批处理
浏览 1
提问于2018-07-18
得票数 37
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Facebook 发布 Detectron2:基于 PyTorch 的新一代目标检测工具
TensorFlow被曝存严重bug,搭配Keras可能丢失权重,至今仍未修复
快速可微分排序算法包,自定义C ++和CUDA,性能更好
2019深度学习框架决战:PyTorch横扫AI顶会,再夺NeurIPS 2019!
AWS和Facebook合作推出PyTorch模型服务框架TorchServe:可让模型快速投入生产
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券