Theano梯度故障切换扫描操作

文章/答案/技术大牛

发布

1回答

python、gradient、theano、recurrent-neural-network

在theano中实现深度网络让我可以从头开始精确地控制我的层。我知道它不再被支持，但在我看来，它仍然有活跃的使用(至少从我:->)。无论如何，我注意到了一些通过扫描操作进行梯度计算的行为。我添加了一个扫描操作 [h_n, obj_n, x_n], _ = theano.scan( sequences=[x],h_n0 = theano.functi

浏览 21提问于2020-03-16得票数 1

1回答

如何在Theano中堆叠向量而不使用扫描？

python、gpu、theano

我使用theano.scan来创建上下文的堆叠矢量，如下所示：看起来扫描太慢了在信号处理中，这是相当标准的操作，所以我在考虑创建一个特殊的操作，就是为了这个。不幸的是，我还需

浏览 2提问于2014-08-13得票数 4

1回答

所以事情是这样的:我必须在下面编写代码，当我应用grad wrt A时，一切都运行得很好，它正确地计算了梯度。但是，如果我使用wrt=i，那么它会给我一个DisconnectedInputError。def step(i, A):outputs, _ = theano.scan(step, sequences=T.arange(2,6), non_sequences=A)grad = T.grad(cost=res[3], wr

浏览 0提问于2016-05-30得票数 0

1回答

亚张量的Theano梯度

theano

我尝试通过扫描操作手动计算标量成本相对于权重向量的梯度。然而，这并不起作用，并且总是返回SubTensor不可微的错误T.grad(cost, p2) def differentiate_element(i,p2,c): return T.grad(p2.shape[0]), non_sequences=[p2,

浏览 0提问于2016-05-31得票数 1

1回答

如果计算是在扫描内部还是外部进行，则theano.scan输出梯度会有所不同

python、theano

(lasagne.random.get_rng().randint(1,2147462579)) B = T.scalar("B") res, re, samp = outputsfunc = theano.function但是，如果我改为使用下面的渐变 grad = T.grad(cost=(re-samp).sum

浏览 0提问于2016-06-12得票数 0

2回答

使用theano扫描实现LSTM，比使用循环慢得多

machine-learning、theano、pylearn、lstm

我正在使用Theano/Pylearn2在我自己的网络中实现LSTM模型。然而，我发现Theano扫描比使用普通循环慢得多。4.822s 1.56e-02s Py 310 2 forall_inplace,gpu,lstm__layers} h_out = o_gate * T.tanh(C);我把我的扫描<

浏览 4提问于2015-04-23得票数 2

5回答

Theano HiddenLayer激活函数

python、machine-learning、neural-network、theano

隐藏层的实现如下所示，就我在互联网上搜索的情况而言，ReLU没有在Theano内部实现。

浏览 4提问于2014-10-21得票数 11

回答已采纳

1回答

如何在Theano中合并两个更新？

theano

为了计算J1，我使用了theano.scan，它返回一个更新对象(让我们称它为update1)，指定扫描函数中涉及的共享变量的更新规则。然后，我使用T.grad来计算J1的梯度。类似地，我使用theano.scan计算J2，它返回另一个update对象(让我们称之为update2)。我的问题是，如何将这两个更新合并为一个更新，以便我可以使用该单一更新规则来实现梯度下降？

浏览 3提问于2017-06-05得票数 0

2回答

Theano --梯度平方的平均值

neural-network、gradient、theano

在theano中，给定一个具有形状的批量成本cost (batch_size，)，很容易计算平均成本的梯度，就像在T.grad(T.mean(cost,axis=0),p)中一样，其中p是计算cost时使用的参数通过在计算图中反向传播梯度，可以有效地实现这一点。我现在想做的是计算批次上的平方梯度的平均值。这可以使用以下代码段来完成： g_square = T.mean(theano.scan(lambda i:T.grad(cost[

浏览 0提问于2016-03-23得票数 2

1回答

在Theano中创建符号变量的目的是什么？

python、theano

在Theano中，变量被写成“符号”：y = T.vector("y") 从文档中可以看出，我们创建这些符号的原因可能是因为这些变量被编译成C代码。在Theano中创建符号变量的目的是什么？他们能做什么，a，开箱即用Python不能做的作业？

浏览 4提问于2015-05-21得票数 1

1回答

pymc3 theano函数用法

theano、pymc3

似然函数涉及大量迭代，因此我尝试使用theano的扫描方法直接在theano中定义迭代。这里有一个非常简单的例子，它说明了我所面临的挑战。我试图定义的(伪)似然函数是两个pymc3随机变量p和θ的和。当然，我可以简单地返回p+theta，但我尝试编写的实际似然函数更复杂，而且我认为我需要使用theano.scan，因为它涉及很多迭代。import pymc3 as pmimport theano.tensor a

浏览 10提问于2016-09-03得票数 0

1回答

如何覆盖千层面中的非线性函数的梯度？

python、neural-network、theano、lasagne

如果theano.sandbox.cuda.cuda_enabled: maybe_to_gpu = theano.sandbox.cuda.as_cuda_ndarray_variable else:outp = maybe_to_gpu(self.nonlinearity(inp)) #然后修正前向表达式.op = theano.OpFromGraph(inp，outp) # ...and将梯度替换为我们自己的梯度= theano.gradient.jacobian(model_ou

浏览 4提问于2022-03-02得票数 0

2回答

与已有python代码的集成

python、numpy、theano

由于矩阵操作，我有一个python项目，它对numpy非常有效。我想加快代码的速度，所以我做了一些分析来找出适合这项工作的工具。结果表明，开销不是python，而是矩阵操作。因此，我认为我应该使用Theano (特别是考虑到我正在实现机器学习算法，这就是我所做的)。我的项目的大部分开销都在一个函数中，我想知道是否可以用theano重写这个函数，然后从它中取出numpy数组，然后像往常一样继续计算。这同样只是为了测试我将获得多大的速度，而不需要修改大量代码。

浏览 3提问于2014-01-22得票数 1

回答已采纳

1回答

关于Theano扫描的几个问题

python、deep-learning、theano

我对theano扫描机制有点困惑，这里有一个计算A^k的简单代码片段import theano print("test") output

浏览 0提问于2016-10-08得票数 1

3回答

从Theano中的scan调用函数

theano

我需要通过扫描多次执行theano函数，以便对成本函数求和并在梯度计算中使用它。我熟悉做这件事的深度学习教程，但是我的数据切片和其他一些复杂性意味着我需要做一些不同的事情。tn = testnet()x = theano.shared(numpy.asarray([7.1,2.2,3.4], dtype='float32'))test_fn = theano.

浏览 1提问于2015-04-01得票数 5

1回答

theano中层的有效计算雅可比矩阵

python、theano、backpropagation

在在线学习方案中，这可以很容易地完成如下操作：import theano.tensor as T当学习批处理时，您需要额外扫描以获得每个样本的雅可比矩阵j = theano.scan(lambda i, a, b : jacobian(b[i], a)[:,i]

浏览 0提问于2017-06-02得票数 1

1回答

提亚诺中的逆FFT

python、numpy、fft、theano、ifft

也就是说，是否有类似于theano.tensor.fourier.ifft的东西，它相当于numpy.fft.ifftAttributeError: 'module' object has no attribute 'fourier

浏览 0提问于2015-08-21得票数 3

回答已采纳

1回答

Theano Scan Op的梯度输入断开

python、theano

我希望对每个组中的分数进行"softmax“操作，以分配项目的概率，然后取正确答案的概率的对数和。这是一个更简单的版本，我们只需返回正确答案的分数，而不返回softmax和对数。T.grad(cost=T.sum(values), wrt=W, consider_constant=[groupSizes,offsets]) handle

浏览 0提问于2013-05-08得票数 1

回答已采纳

2回答

将符号theano.tensor传递给已编译的theano.function

python、theano

(numpy.zeros((n)))b_y = theano.shared(numpy.zeros((nout)))h0 = theano.shared(numpy.zeros((n))) def step(x_t, h_tm1):这里的问题是，扫描操作是将一个符号变量(Xs的一个次张量)传递给编译的step函数。重构代码的全部目的是使我不必在step函

浏览 2提问于2014-12-11得票数 0

回答已采纳

1回答

Theano中的循环相关

python、correlation、theano

我试着用Theano计算两个信号的，用它进一步计算我要优化的损失。但我不太确定该怎么做。我可以做一个普通的相关，然后执行周期求和，但不太清楚如何(周期求和)象征性地(可能使用扫描？)border_mode='full') f(np.array([[2, 3, 5], [3, 4, 4], [5, 6, 7]]

浏览 0提问于2015-11-23得票数 3

回答已采纳

点击加载更多