LSTM单词预测模型只预测最频繁的单词，或者用于不平衡数据的损失
LSTM单词预测模型是一种基于长短期记忆网络（Long Short-Term Memory，LSTM）的模型，用于预测文本中最频繁出现的单词。该模型可以应用于自然语言处理（Natural Language Processing，NLP）领域中的文本生成、机器翻译、语音识别等任务。
LSTM单词预测模型的优势在于能够捕捉到文本中的长期依赖关系，避免了传统的循环神经网络（Recurrent Neural Network，RNN）在处理长序列时的梯度消失问题。通过学习文本中的上下文信息，模型可以预测出最有可能出现的下一个单词，从而实现单词的自动补全或预测功能。
应用场景方面，LSTM单词预测模型可以用于智能输入法、自动文本补全、智能客服等领域。例如，在智能输入法中，当用户输入一个部分单词时，模型可以根据已有的上下文信息预测出用户可能想要输入的完整单词，提高输入效率和准确性。
腾讯云相关产品中，可以使用腾讯云的自然语言处理（Natural Language Processing，NLP）服务来支持LSTM单词预测模型的开发和部署。腾讯云的NLP服务提供了丰富的API接口和功能，包括文本分词、词性标注、命名实体识别等，可以为LSTM单词预测模型提供必要的文本处理和语义理解能力。
腾讯云自然语言处理（NLP）产品介绍链接地址：https://cloud.tencent.com/product/nlp
需要注意的是，本回答中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，因为题目要求不提及这些品牌商。
相关·内容
1回答
我已经在keras中创建了一个模型，使用LSTM来预测下一个单词，给定一个序列words.Below是我的代码：
# Small LSTM Network to Generate Text for Alice in Wonderland
# load ascii text and covert to lowercase
filename = "wonderland.txt"
raw_text = open(filename).read()
raw_text = raw_text.lower()
print raw_text
# create mapping of uni
浏览 0提问于2017-04-14得票数 3
1回答
我正在尝试实施一个在线分类模型，使用20个新闻集团的数据集，将帖子分类为相关的组。
pre-processing：--我正在浏览所有的帖子，用words.Then编制字典，我从1开始为单词建立索引。然后，我遍历所有的帖子，对于帖子中的每个单词，我搜索词汇表，并将相关的索引编号放入数组中。然后，我填充了所有的数组，把0放在末尾，使它们都是相同的大小( 6577)。
然后，我正在创建am嵌入式层( embedded size=300)。并且每个输入将经过这个嵌入式层，然后被输入到LSTM层(LSTM输入shape= (1,657,300))。
在我的模型中，我有一个LSTM层(大小= 200)和一
浏览 2提问于2018-09-26得票数 0
1回答
我正在做一个项目(我的第一个人工智能项目)，我遇到了一些麻烦。当在我训练的分类器上执行测试时，它预测所有东西都是1类的。现在数据集严重偏向1类；但是，我已经实现了权重来补偿这一点。我只是担心我写错了代码或者遗漏了什么。如果你看到什么请告诉我。
这是设置和训练
batchSize = 50
trainingLoad = DataLoader(trainingData, shuffle = True, batch_size = batchSize, drop_last=True)
validationLoad = DataLoader(validationData, shuffle = Tr
浏览 0提问于2020-03-31得票数 0
3回答
我正在尝试训练一个keras图像分类器来预测图像中杂草(1)和草(0)之间的差异。然而，无论我试图构建什么方法/模型，准确性都会停滞不前，我的意思是，训练的准确性就像预测0一样。我可以确认这一点，因为当我将labels数组更改为仅包含0时，模型以某种方式声称精度为1.00，但当我将所有标签更改为1时，模型精度为0.00。我的所有图像都被缩放并转换为rgb。代码如下： def prep_image(filename):
im = cv2.imread(filename, 0)
new_im = cv2.resize(im, (400,530))
arr = np.array(new
浏览 34提问于2019-03-05得票数 1
回答已采纳
1回答
我使用MLP进行分类。
这是我的模型
model = keras.Sequential([
keras.layers.Flatten(input_shape=(X.shape[1], X.shape[2])),
keras.layers.Dense(2048, activation='relu'),
keras.layers.Dropout(0.1),
keras.layers.Dense(512, activation='relu'),
keras.layers.Dense(128, activation='re
浏览 0提问于2020-10-29得票数 1
回答已采纳
我有一个很不直观的问题。我正在对亚马逊书评进行情感分析，数据集严重不平衡。正面评论几乎是负面评论的10倍，训练和测试的准确率都在90%左右(数据集不平衡)。然而，当我尝试在class_weight = {0:10 , 1:1}的帮助下平衡数据集时，训练和测试的准确率都下降到了65%左右。同样，如果我的class_weight = {0:1 , 1:10}准确率再次激增，那么显然我设置的class_weight是错误的，但据我所知，因为正面评论的数量(1)是负面评论数量(0)的10倍，class_weight不应该设置为{0:10，1:1}吗？
这是我对训练和测试数据进行分类的方法：
x_tra
浏览 2提问于2018-11-25得票数 1
我决定尝试使用递归神经网络建立一个单词预测模型。网上有许多不同的例子，包括在线课程，这使得构建这样一个模型听起来相当容易。他们中的大多数使用LSTM。而且，它们中的大多数，如果不是全部，都使用非常小的数据集。我决定用一个更大的数据集-- 20个新闻组数据集from sklearn.datasets import fetch_20newsgroups来尝试它。我做了一些最小的预处理:删除标点符号、停用词和数字。
我根据前面的10个单词的历史来预测一个单词。我只使用至少有11个单词的帖子。对于每个帖子，我通过获取一个大小为11的滑动窗口并沿着帖子滑动它来构建训练集。对于每个位置，前10个单词是预测
浏览 17提问于2019-07-23得票数 3
1回答
我有以下用于二分类的神经网络。问题是它总是预测相同的类(类1，或正类)。我尝试过对负类进行过采样，使得正类的比率约为43%，但模型仍然产生1。基本上，它没有进行任何训练。
tf.reset_default_graph()
sess = tf.InteractiveSession()
input1 = Input(shape=(10,100)) #number of time steps and number of features
lstm1 = LSTM(units=10)(input1)
dense_1 = Dense(8, activation='relu')(lstm1
浏览 58提问于2021-09-13得票数 0
我在Keras中有一个卷积+ LSTM模型，类似于这个(参考文献1)，我正在使用它来进行Kaggle竞赛。架构如下所示。我把它训练在我的11000份标有标签的样本上(两类样本，初始流行率是9:1，所以我把1's样本的比例提高到了1/1左右)，用20%的验证分裂值对50个历代样本进行了采样。有一段时间，我一直在大张旗鼓地过度适应，但我认为它已经被噪音和脱落层控制住了。
模型看起来很棒，最后在整个训练集上得到91%的分数，但是在测试数据集上，绝对是垃圾。
📷
📷
通知:验证精度高于训练精度。这是“典型”过度拟合的反面。
。
我的直觉是，考虑到微小的验证分裂，模型仍然能够很强地适应输入集，并
浏览 0提问于2016-11-20得票数 15
回答已采纳
1回答
我正在进行卫星数据方面的培训。由于数据中的类分布极不均衡，因此本文采用随机多数欠采样的方法对神经网络进行训练，人为地平衡了每个班的训练样本数。在验证过程中，我不以任何方式对数据进行重采样。
📷
📷
在上面的图表中，橙色是训练的表现，蓝色是验证。验证精度和损失值比训练精度和损失大得多。即使训练正确率在90%左右，验证精度在某一时间点甚至达到0.2%。为什么验证指标波动得很厉害，而训练指标却保持相当恒定？
关于模型/数据的一些补充资料：
我用U网模型将卫星图像分割成三个土地覆盖类别。与原论文相比，U网模型在每一层的滤波器数只有原来的一半，在每次卷积后和激活之前，我都采用批归一化。该模型使用带有初始
浏览 0提问于2020-08-31得票数 1
我想训练一个生成文本的模型，类似于
据我所知，该模型使用了以下体系结构
->嵌入-> LSTM -> 1热编码“下一个单词”的词义序列
基本上，作者将过程建模为分类问题，其中输出层的维数与语料库中的单词相同。
我想把这个过程建模为回归问题，方法是重用所学的嵌入，然后最小化预测和实际嵌入之间的距离。
基本上：
->嵌入-> LSTM ->嵌入序列-下一个单词的向量
我的问题是，当模型正在动态地学习嵌入式时，我如何才能像输入(作为单词索引)那样提供输出，然后告诉模型“但是在使用输出之前，用它的嵌入向量替换它”？
非常感谢大家的帮助:-)
浏览 2提问于2017-02-15得票数 4
回答已采纳
我试图通过训练一个CRNN(CNN+LSTM+CTC)模型，从裁剪出来的单词图像中识别单词。我很困惑如何在认可的单词的同时增加自信的分数。我正在使用tensorflow并跟踪的实现。有人能建议我如何修改网络的连接性时态分类(CTC)层，从而也给我们一个信心评分吗？
浏览 3提问于2018-06-01得票数 0
回答已采纳
我正在做一个处理传感器数据的项目。我从3个地方收集了传感器数据，并将数据存储为csv文件。大约有4000个样本。数据有X、Y、Z，我使用它们作为特征，class是我的目标变量。目标是在数据集上构建分类模型。目标变量/标签是1,2,3。因为它是时间序列数据，所以我选择使用双向LSTM。
数据分布：
model = keras.Sequential()
model.add(
keras.layers.Bidirectional(
keras.layers.LSTM(
units = 128,
input_shape = [X_train.shape[1],
浏览 0提问于2020-08-17得票数 1
1回答
我从深度神经网络的世界开始，用卷积模型进行一系列测试，我发现了以下情况：
训练集的准确性(约0.85)比验证集(约0.58)好得多，但在观察损失结果时，发现这两个数据集的损失为0。
我的问题是:怎么可能两组的损失如此之低，但准确性却不完美？损失函数不衡量预测和实际类别之间的差异，并表明模型预测的好坏吗？
我正在执行一个多类任务，我的损失函数是绝对交叉熵。
如果有人能为我澄清这些概念，我将不胜感激。
浏览 0提问于2023-01-05得票数 0
我已经创建了一个神经网络来进行情感分析，使用双向GloVe层和预先训练好的嵌入。
在培训期间，我注意到具有冻结嵌入权的nn.Embedding层使用了GloVe的整个词汇表：
(实例化模型对象的输出) (embedding): Embedding(400000, 50, padding_idx=0)
还介绍了nn.Embedding层的结构：
self.embedding = nn.Embedding.from_pretrained(embedding_matrix, freeze=True, padding_idx=self.padding_idx)
，其中embedding_matrix
浏览 0提问于2023-01-10得票数 1
1回答
LSTM模型不良预测
、、、、
我试图实现用于时间序列预测的LSTM模型。下面是我的试用码。此代码运行时没有错误。
metrics = ['mean_squared_error', 'mean_absolute_error', 'mean_absolute_percentage_error']
# define model
model = Sequential()
model.add(LSTM(100, activation='relu', input_shape=(n_past, 6), return_sequences=True))
model.add(
浏览 0提问于2020-12-07得票数 1
所以我正在跟踪Tensorflow的LSTM/时间序列教程，有些事情我不明白。我确实理解return_sequences开/关发生了什么，但是有人说，在return_sequences上，您可以允许
同时在多个时间步骤上训练模型
我不太明白这意味着什么。如果您不使用它，则输入将通过所有以前的时间步骤，并进行预测。您的损失将是这个预测的错误和实际的错误。你仍然在所有的时间步骤上进行训练，对吧(虽然我想不是同时进行的)。
如果是的话，它会对每一个时间步骤进行预测--在这种情况下，损失是多少？这是序列中每个预测的平均误差吗？为什么打开return_sequences更好，就像教程中所做的那样？在这种
浏览 0提问于2020-12-13得票数 2
2回答
我有一个变量，我想要预测到未来30年。不幸的是，我没有太多的样本。
df = pd.DataFrame({'FISCAL_YEAR': [1979,1980,1981,1982,1983, 1984,
1985, 1986, 1987, 1988, 1989, 1990, 1991, 1992, 1993, 1994,
1995, 1996,
1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006,
2007, 2008, 2009, 2010, 201
浏览 2提问于2018-11-03得票数 8
我认为这个模型不适合。这是正确的吗？
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
lstm_1 (LSTM) (50, 60, 100) 42400
_______
浏览 2提问于2020-04-05得票数 1
1回答
我测试了LSTM和GRU模型来预测货币之间的汇率。我不拿原价，而是前一天的三角洲价格，所以数据在零附近是稳定的。
我的问题是，我的模型总是预测非常接近于零的值，就像它将风险降到最低，并且不想猜测错误。这可能是因为它不适合，但我想确定这不是一个常见的问题，我只是完全不知道。
我有非常简单的架构，1层GRU或LSTM (两者都尝试过)，过去20年的数据，并使用前20天的数据来预测下一个。尝试玩LR，辍学和多少个时代，但这种行为似乎奇怪的我。也许我错过了什么？
📷
谢谢!
浏览 0提问于2020-08-18得票数 2
1回答
我正在执行文本分类为好的1或坏的0。文本经过预处理后，使用Google Word2Vec转换成向量。进一步的CNN架构被用于培训。我有大约13000条文本作为坏的0，5450条文本作为良好的1用于培训(使它大约70:30%)问题开始时，我意识到我没有足够的计算能力(2GB GPU)。因此，我折衷并使用了来自Word2Vec (而不是300)的100维word嵌入。在CNN架构中进行某些超参数调整后，我能够获得30-35%的精度，我对此感到满意。几个月后，我在服务器上安装了一个8GB的GPU，并在Word2Vec中实现了300维word嵌入，并进行了培训。理想情况下，我应该获得更好的结果；相反，
浏览 0提问于2019-04-10得票数 0
2回答
作为学习练习，我尝试使用带有Keras框架的LSTM模型来根据多个数据点预测股票市场。我的输入数组的大小大约是5000,100。根据该站点上的其他问题和在线文章，这种方法似乎相当标准:将数据放在一个numpy数组中，对其进行缩放，将其重塑为LSTM的3维，将其拆分为训练和测试部分，并通过模型提供。只运行模型的训练部分，我总是得到大约400,000,000的损失分数。这不能通过改变批次大小、历元数、层数、用丢失层替换归一化、改变每一层的大小或使用不同的优化器和损失函数来改变。你知道为什么损失这么高吗?我能做些什么来解决这个问题？附件是代码。我们非常感谢所有的建议。 import pandas
浏览 230提问于2021-01-31得票数 0
1回答
我正在用keras做一个语言模型。
基本上，我的词汇量N是30.000，我已经在它上训练了一个word2vec，所以我使用嵌入，然后是LSTM，然后我用一个完全连接的层来预测下一个单词，然后是softmax。我的模型如下：
EMBEDDING_DIM = 256
embedding_layer = Embedding(N,EMBEDDING_DIM,weights=[embeddings],
trainable=False)
model = Sequential()
model.add(embedding_layer)
model.add(LSTM(EMBEDDING_DIM))
model
浏览 3提问于2016-08-25得票数 5
2回答
我使用LSTM进行时间序列预测，我的数据是高度倾斜的，类权重197.16865807 : 0.50127117
使用Label 0 : 25359和Label 1 : 9974641
我的模型如下所示
n_input = 100
n_features = 36
class_weights = class_weight.compute_class_weight('balanced',
np.unique(y_target),
浏览 0提问于2020-03-17得票数 1
我的模型是这样的：
def _get_model(input_shape, latent_dim, num_classes):
inputs = Input(shape=input_shape)
lstm_lyr,state_h,state_c = LSTM(latent_dim,dropout=0.1,return_state = True)(inputs)
fc_lyr = Dense(num_classes)(lstm_lyr)
soft_lyr = Activation('relu')(fc_lyr)
model = Model(inputs, [
浏览 2提问于2021-01-11得票数 0
回答已采纳
1回答
我想训练一个模型来检测句子中错误的单词。
我有一百万句不同长度的句子(字库或字根)。每个位置(单词或字符)都有一个标签来表示它是错误的或正确的。
如果一个句子的长度是10，我想让LSTM学习围绕当前单词的2个单词(因此每个单词变成5个单词)。所以我需要把这个句子转换成10，5。
但第一个词(没有左字)和右字(没有正确的词)，所以我需要垫他们。
然后使用word2vec将这个句子转换为10，5，嵌入_大小，和其他句子一样。(即每个单词转换为5个字嵌入)
训练(用5，嵌入_大小 * bacth_size建立饲料模型)
我看到了很多LSTM输入格式，并最终计算出上面的流程。我的步子对吗？
实际上，我
浏览 0提问于2018-05-07得票数 0
on language模型允许计算句子的概率：
probabilities = tf.nn.softmax(logits)
在下面的评论中，它还指定了一种预测下一个单词的方法，而不是概率，但没有指定如何做到这一点。那么如何使用这个例子输出一个单词而不是概率呢？
lstm = rnn_cell.BasicLSTMCell(lstm_size)
# Initial state of the LSTM memory.
state = tf.zeros([batch_size, lstm.state_size])
loss = 0.0
for current_batch_of_words in w
浏览 1提问于2015-11-18得票数 12
2回答
精度before抽样：
培训：98,54% On Testing：98,21%
精度after抽样：
培训：77,92% On Testing：90,44%
这意味着什么，以及如何提高准确度？
编辑：
击打前上课：
dataset['Label'].value_counts()
BENIGN 168051
Brute Force 1507
XSS 652
Sql Injection 21
一次又一次的课程：
BENIGN 117679
Brute Force 117
浏览 0提问于2021-06-20得票数 0
我在TensorFlow2.0中使用了多输出模型 input_layer = layers.Input(shape=(INP_MAX_LENGTH), name="input")
embed_layer = layers.Embedding(EMBED_INP_DIM, embedding_size, name="embeddings", weights=[embedding_matrix], trainable=False, input_length=INP_MAX_LENGTH)(input_layer)
lstm_layer1 = layers.
浏览 23提问于2020-07-21得票数 1
我正试图建立一个深度学习模型来预测前五大可能的电影类型，使用电影的概要作为输入。我在数据中包含的电影类型是19种，但是不管测试输入，模型总是预测相同的5种电影类型。下面是我构建模型的代码。但拟合精度为90%。你能指出我做错了什么吗？
from keras.preprocessing.text import one_hot
from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.layers.core import Activation, Dropo
浏览 4提问于2019-10-27得票数 1
回答已采纳
我试图在Seq2Seq中建立一个基于LSTM的多变量多步预测模型。
所使用的数据如上图所示，最后一列是目标，所有前面的列都是特性。对于预处理，我使用MaxMinScaler来缩放-1到1之间的所有数据。
然后我用了编解码器的结构。
class Seq2Seq(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, output_size, batch_size):
super().__init__()
self.output_size = output_size
self.Encoder
浏览 10提问于2022-10-03得票数 0
1回答
我正在用VAE做信号压缩和重建。我已经训练了1600个片段，但1600个重建信号的值非常相似。此外，同一批次的结果几乎是一致的。当使用VAE时，模型的损失函数包含二进制交叉熵(BCE)，训练模型的输出应在0到1之间(输入数据也归一化到0~1)。 VAE模型(LSTM)： class LSTM_VAE(nn.Module):
def __init__(self,
input_size=3000,
hidden=[1024, 512, 256, 128, 64],
latent_size=64,
浏览 50提问于2021-04-13得票数 0
回答已采纳
2回答
我有一个np数组，类似于0-1的一热编码。对于每个样本，我总是有15个0和5个1。我怎么做才能让它只预测5个1和15个0呢？我正在使用keras库，有没有一个设置可以让我的模型准确预测15个0和5个1？
-
input =0 0 0 1 0 1 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0
#Building RNN
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from keras.layers import Dropout
浏览 0提问于2019-08-29得票数 1
2回答
我正在使用lightgbm和python包进行预测。我有一个训练数据集和一个预测数据集。在预测数据集中，我有一些特征的NaN值。在结果中，当我有nan值时，预测是完全错误的。有没有办法处理预测数据集中的缺失值？
我已经尝试使用参数use_missing和zero_as_missing，并尽可能使用((true，false)，...)但没有成功。我使用的是主版本。
params = {
'boosting_type': 'gbdt',
'objective': 'regression',
'num_l
浏览 2提问于2019-09-04得票数 2
我有一个LSTM模型，它是针对多分类问题而设计的.训练时，准确度约为1.00。但仍然返回较小的损失值。什么意思？所有目标的预测都是正确的。为什么损失值不能是零？
adadelta = Adadelta(clipnorm=1.)
model.compile(optimizer=adadelta,
loss='categorical_crossentropy',
sample_weight_mode='temporal',
metrics=['accuracy'])
浏览 3提问于2017-03-26得票数 2
回答已采纳
我想我理解通过LSTM或XGBoost模型进行预测的想法，但我想联系社区来证实我的想法。
本教程很好地一步一步地解释了该做什么："如何建立多步LSTM电力使用时间序列预测模型“
然而，在预测方面，作者拿出了部分数据，然后用这些数据来预测未来的值.在我看来，这并不是一种预测(通过ARIMA、VAR等方法完成的事情--你可以指定时间周期的数目，然后不指定任何东西，模型给你一些关于未来的预测)，你可以看到我对作者的评论，基本上，通过LSTM或XGBoost模型的预测将基于输入值而不是未来的数据范围，即我需要提供温度、湿度、风等来预测房屋的耗电量。
话虽如此，LSTM或GXBoost在何种程度
浏览 0提问于2019-09-30得票数 4
2回答
我是ML的乞讨者，我正在使用LSTM模型来预测一列的未来值，我认为我成功地训练了我的模型，但我正在努力让我的模型预测我的数据集的未来值: c0 c1 c2 c3 c4 c5 0.953202 0.998825 0.943329 0.762738 0.046798 0.0...我训练我的模型根据其他列预测c5的值
# split into train and test sets
values = reframed.values
n_train_hours = 24*24
train = values[:n_train_hours, :]
test = values[n_train_hours:,
浏览 1提问于2019-05-28得票数 0
1回答
调优LSTM模型
、、、
I并构建LSTM模型来预测给定字符序列的单词。到目前为止，我的数据集只有大约3k个单词是alphaNumeric。由于某些原因，我达到了.84的最大准确率，而我似乎无法超越它。我尝试添加额外的LSTM层，改变学习率和批处理大小，但我无法超过.84的精度限制。 我正在寻找关于我应该如何调查这件事的指导。我打算使用Hyperas来调整模型。我不确定调整是否会有帮助，因为当我从一个有12个单元的3层LSTM一直到有24个单元的3层时，我正在达到那个.84限制。 以下是我对模型的定义： model = Sequential()
model.add(LSTM(24, input_shape=(dat
浏览 29提问于2019-12-17得票数 3
1回答
用于情感分析的LSTM输入输出
、、、、
我正在研究这个LSTM网络：https://www.kaggle.com/paoloripamonti/twitter-sentiment-analysis
model = Sequential()
model.add(embedding_layer)
model.add(Dropout(0.5))
model.add(LSTM(100, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(1, activation='sigmoid'))
model.summary()
我理解嵌入层的输入部分。每个单词get是一个唯一的
浏览 0提问于2019-05-01得票数 0
我正在对不平衡数据进行二进制分类，比率为( 22 :1)意味着如果有22个正面例子，那么就有1个负面例子。我通过使用Over-Sampling来处理这个不平衡问题，它添加了来自少数类的示例副本，以平衡正类和负类。 现在我训练了神经网络模型。对于评估，我对低假阳性率(FPr)和低假阴性率(FNr)感兴趣，但它给了我意想不到的结果，非常低的假阳性率(0.02%)和非常高的假阴性率(82.1%)。此外，对于参考模型，准确率为90%，损失为23%。 我们通过以下公式来计算速率： FPr = FP/(FP+TN) and
FNr = FN/(Fn+TP) 这里，FP表示假阳性，TN表示真阴性，FN
浏览 54提问于2019-12-13得票数 0
1回答
我正在训练一个双向LSTM网络，但当我训练它时，我得到了如下结果：
"
Iter 3456, Minibatch Loss= 10.305597, Training Accuracy= 0.25000
Iter 3840, Minibatch Loss= 22.018646, Training Accuracy= 0.00000
Iter 4224, Minibatch Loss= 34.245750, Training Accuracy= 0.00000
Iter 4608, Minibatch Loss= 13.833059, Training Accuracy= 0.12500
浏览 0提问于2016-06-21得票数 0
我正在尝试训练LSTM来预测给定最后8个值的时间序列中的下一个值。取而代之的是，网络在响应当前值而不是下一个值作为预测方面变得越来越好。
这是我数据中的一个示例
train_X
[0.01549889 0.0200023 0.01537059 0.01064907 0.00771096 0.00352831 0.00363095 0.00413133]
train_y
0.00357963
test_X
[0.0275208 0.01929664 0.02047702 0.02625061 0.03220383 0.02612231 0.02551929 0.01510116]
test_y
浏览 4提问于2018-07-20得票数 2
1回答
我正在使用tensorflow训练RNN，其中我在自定义损失函数中使用了一些输入数据。我已经将我想要在自定义损失中使用的输入数据附加到我的目标值，以便当我对其进行随机洗牌时，output_tensor看起来是这样的： <tf.Tensor: shape=(900, 2), dtype=float64, numpy=
array([[4.0370e+03, 1.0000e+00],
[9.3000e+02, 0.0000e+00],
[2.6290e+03, 0.0000e+00],
...,
[1.6980e+03, 1.0000
浏览 22提问于2020-08-14得票数 0
回答已采纳
1回答
如何在LSTM中应用词嵌入层前的平滑算法。
我有一个文本二值分类的问题(好(9500)或坏(500个)，总共有10000个训练样本和它的不平衡训练样本)，意思是当我使用LSTM和预先训练的单词嵌入(每个单词的100个维空间)，所以每个训练输入都有一个id(当文本描述小于50个单词，当描述超过50个字符时，每个训练输入有一个id's (50个id的总数，当文本描述小于50个单词，并且当描述超过50个字符时被修剪到50个)。
下面是我的大致流程，
输入-1000(批)X 50 (序列长度)
单词嵌入-200(唯一词汇表词)X 100 (单词表示)
字嵌入层之后(LSTM的新输入
浏览 0提问于2018-11-19得票数 6
1回答
我正在为文本摘要和CNN数据集的文本摘要和CNN数据集提供如下结构的编码器-解码器LSTM的培训。
我正在预训练单词嵌入(大小为256)，使用跳过-克和
然后，我用零填充输入序列，使所有的项目都具有相同的长度。
我在每个摘要中加入了一个1的向量，作为“开始”的标记。
使用MSE，RMSProp，tanh激活后在解码器输出。
培训:20个时代，batch_size=100，clip_norm=1，dropout=0.3，hidden_units=256，LR=0.001，培训examples=10000，validation_split=0.2
网络训练、训练和验证MS
浏览 1提问于2018-04-18得票数 3
2回答
我有一个二元分类问题。我得到了以下结果：val_loss (远)低于train_loss，但是与培训集相比，验证的accuracy也更低。这怎么可能？
Epoch 1/10
10708/10708 [=======] - loss: 0.6356 - acc: 0.8289 - val_loss: 0.4981 - val_acc: 0.7760
Epoch 2/10
10708/10708 [=======] - loss: 0.6243 - acc: 0.8248 - val_loss: 0.5075 - val_acc: 0.7609
Epoch 3/10
10708/10708 [==
浏览 0提问于2018-01-03得票数 0
1回答
我有一个3向量的玩具系列数据集，其形式为
[[0, 0, 2], [1, 0, 3], [2, 0, 4], [3, 0, 2], [4, 0, 3], [5, 0, 4] ... [10001, 0, 4]]
X总是递增1，y总是0，z重复2，3，4，我想预测序列中的下一个3向量，给定一个起始序列。我使用的是32的窗口大小，但也尝试了256，得到了相同的结果。
在将其发送到模型之前，我将每个维度标准化为0到1之间。无论我添加了多少层、多少个单元、多少个特征，模型的精度都不会超过0.5，我想知道为什么。
我得到的第33项的预测值是[4973.29 0.000 3.005]，而实际值是[32 0
浏览 0提问于2018-07-03得票数 1
我在解释我的模型的训练和验证损失、敏感性和特异性时遇到了一些困难。我的验证敏感性、特异性和丢失性是NaN，我正在尝试诊断原因。
我的训练集有50个时间序列示例，每个步骤有24个时间步骤，以及500个二进制标签(形状：( 50，24,500))。我的验证集有形状(12，24,500)。当然，我期望一个神经网络会非常适合。
因为我对有状态LSTM感兴趣，所以我遵循了philipperemy的建议，使用了model.train_on_batch和batch_size = 1。我有多个输入:一个称为seq_model_in，它是一个时间序列，另一个称为feat_in，它不是时间序列(因此在LSTM之后
浏览 0提问于2018-02-03得票数 1
1回答
LSTM/RNN可用于文本生成。展示了为Keras模型使用预先训练的GloVe单词嵌入的方法。
如何在Keras模型中使用经过预先训练的Word2Vec单词嵌入？ post确实有帮助。
当模型中提供了单词序列作为输入时，如何预测/生成下一个单词？
尝试了抽样方法：
# Sample code to prepare word2vec word embeddings
import gensim
documents = ["Human machine interface for lab abc computer applications",
浏览 4提问于2017-02-06得票数 26
我有一个LSTM模型，它根据今天的流出量、温度和降雨量来预测明天的流出量。 model = Sequential()
model.add(LSTM(units=24, return_sequences=True,
input_shape=(X_Train.shape[1],X_Train.shape[2])))
model.add(Dropout(0.2))
model.add(LSTM(units=50))
model.add(Dropout(0.2))
model.add(Dense(20, activation='relu'))
model.ad
浏览 371提问于2020-09-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
