神经网络预测区间- MVE方法
神经网络预测区间- MVE方法
提问于 2019-10-20 19:48:54
我想训练一个神经网络，它也返回预测间隔，这样我就可以对我的预测有一些信心。实现这一目标的方法主要有四种，这在“基于神经网络的预测区间综合评述与新进展”( https://ieeexplore.ieee.org/document/5966350 )中作了总结。
我对均值方差估计(MVE)方法很感兴趣，因为它似乎是最简单的理解方法。然而，我很难弄清楚这在Keras中是如何实现的。
我猜损失函数的定义是：
def mve_cost(y_true, y_pred, var_pred):
loss = 0.5*tf.reduce_sum(tf.log(var_pred) + tf.divide((tf.square(y_true - y_pred)),(tf.square(var_pred))) )
return loss但是，Keras中的损失函数能接受三个输入吗？我以前从没见过这个。此外，方差-NN的目标是事先不知道，并考虑到预测的均值-神经网络。我认为这需要的一些更灵活的功能，但我对如何将其组合起来感到困惑。
- 如何正确定义MVE方法的损失函数？
- 如何在中实现两个NNs之间的微妙关系？
- 有人知道这个方法已经在网上实现了吗？
- 是否有另一种在Keras中更容易理解/实现的生成NNs预测间隔的方法？
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-10-30 23:26:41
这样的方法并不容易实现，但是有一个窍门。将损失定义如下：
import keras.backend as K
def regression_nll_loss(sigma_sq, epsilon = 1e-6):
def nll_loss(y_true, y_pred):
return 0.5 * K.mean(K.log(sigma_sq + epsilon) + K.square(y_true - y_pred) / (sigma_sq + epsilon))
return nll_loss然后定义一个具有两个输出的模型，一个用于平均值，另一个用于方差：
from keras.models import Model
from keras.layers import Dense, Input
inp = Input(shape=(1,))
x = Dense(32, activation="relu")(inp)
x = Dense(32, activation="relu")(x)
mean = Dense(1, activation="linear")(x)
var = Dense(1, activation="softplus")(x)
train_model = Model(inp, mean)
pred_model = Model(inp, [mean, var])
train_model.compile(loss=regression_nll_loss(var), optimizer="adam")
train_model.fit(x, y, ...)
mean, var = pred_model.predict(some_input)诀窍是显式地将方差的张量传递给损失，因此它只需要两个输入，而监督只对平均值执行。然后，您需要定义两个共享权重的模型，一个用于培训，另一个用于测试/推理。后一种模型返回均值和方差。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58476704
复制相关文章
相似问题
腾讯云开发者
