腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
BERT
编码器
的
二进制
分类
模型
保持
50
%
的
准确率
python
、
tensorflow
、
keras
我正在尝试为Yelp
二进制
分类
任务训练一个简单
的
模型
。Load
BERT
编码器
: gs_folder_
bert
= "gs://cloud-tpu-checkpoints/
bert
/keras_
bert
/uncased_L-12_H-768_A-12"
bert
_config_file
BERT
嵌入数据: encoder_outpu
浏览 40
提问于2020-09-27
得票数 1
1
回答
如何微调
BERT
基础(无基础
模型
)以生成嵌入?
nlp
、
bert-language-model
、
word-embedding
、
summarization
、
fine-tune
在互联网上,我找到
的
只是
分类
tasks.But
的
例子,在我
的
问题中没有标签。(我只有一组tweet)。我
的
任务如下:
使用
BERT
生成单词嵌入,现在在下一个任务中
使用
这个单词嵌入。我
的
目标:我想对
BERT
进行微调,以产生更好
的
单词嵌入。如何做到这一点?
浏览 15
提问于2021-11-12
得票数 0
3
回答
在神经网络中,
二进制
文本
分类
的
最佳激活函数是什么?
neural-network
、
deep-learning
、
keras
、
cnn
、
activation-function
我知道有很多激活函数,比如Relu,sigmoid,tanh ..etc,我只想知道最好
的
例子-
二进制
文本
分类
。但这些预测并没有达到预期
的
水平。 我也把稠密
的
单位改为1024,
保持
其他单位不变,但我仍然有错误
的
预测。(验证
准确率
为
50</em
浏览 0
提问于2019-08-02
得票数 2
1
回答
如何处理自然语言处理中
的
类不平衡问题?
classification
、
class-imbalance
、
nlp
、
bert
我正在做一个NLP
二进制
分类
任务,在上面
使用
Bert
+ softmax层。网络
使用
交叉熵损失。 当正类与负类
的
比例为1:1或1:2时,该
模型
对两类进行了正确
的
分类
(每类
的
准确率
约为0.92)。当比例为1:3 : 1:10时,
模型
表现不佳。当比例为1:10时,该
模型
对负类实例
的
正确
分类
精度为0.98,而对正类实例
的</e
浏览 0
提问于2021-03-27
得票数 1
回答已采纳
1
回答
EncoderDecoderModel转换解码器
的
分类
器层
python
、
pytorch
、
huggingface-transformers
我正在尝试
使用
序列到序列
模型
进行命名实体识别.我
的
输出是简单
的
IOB标记,因此我只想预测每个令牌(IOB)
的
3个标签
的
概率。我正在尝试
使用
HuggingFace实现EncoderDecoderModel --
使用
DistilBert作为
编码器
,以BertForTokenClassification作为解码器。首先,我导入我
的
编码器
和解码器: encoder = AutoModelForSequenc
浏览 2
提问于2021-10-25
得票数 1
回答已采纳
1
回答
从
bert
创建单词嵌入,并将它们输入随机林进行
分类
machine-learning
、
nlp
、
data-science
、
classification
、
bert-language-model
我已经
使用
伯特基地预先训练
的
512个维度
的
模型
来生成上下文特征。将这些向量提供给随机森林
分类
器可以提供83 %
的
准确率
,但在各种研究中,我已经看到伯特最小值提供了90 %
的
准确率
。即使我合并了所有的功能,我也得到了83 %
的
准确率
。我作为基础论文
的
研究论文提到了92 %
的
准确率
,但是他们
使用
了一种基于集合
的
方法
浏览 21
提问于2022-04-01
得票数 0
2
回答
需要帮助选择损失函数
machine-learning
、
neural-network
、
deep-learning
、
conv-neural-network
、
loss-function
我已经
使用
resnet
50
解决了一个多类
分类
问题。该
模型
输出每个类
的
概率。我应该为我
的
模型
选择哪个损失函数? 选择
二进制
交叉熵后: ? 选择
分类
交叉熵后: ? 上面的结果是对于相同
的
模型
,只是损失不同,functions.This
模型
应该将图像分为26类,因此
分类
交叉熵应该起作用。另外,在第一种情况下,
准确率
约为96%,但损失很高。为什么?
浏览 33
提问于2019-05-05
得票数 0
回答已采纳
1
回答
使用
keras函数api从头开始训练VGG16。所有测试图像都被预测为一个类
machine-learning
、
keras
、
neural-network
、
conv-neural-network
我正在
使用
functional训练基于VGG16架构
的
CNN。数据集有2个类(汽车和飞机),每个类有500个用于训练
的
图像和100个用于验证
的
图像。我没有得到好
的
结果。此外,在预测时,它将所有图像归为一类(如果我给汽车图像,它将o/p作为飞机),请帮助我获得正确
的
输出。帮我纠正我
的
观念import numpy as npimport math from keras.preprocessing
浏览 0
提问于2021-09-12
得票数 0
2
回答
训练损失在12个时期后增加
tensorflow
、
neural-network
、
keras
我有一个
模型
,在7-14个时期后,它几乎以100%
的
准确率
学习
分类
(
二进制
分类
),但在达到0.0004
的
最小损失后,在下一个时期,它会跃升到7.5%(这意味着它有
50
%
的
机会正确
分类
,同样有纯粹
的
机会),然后在所有后续时期
保持
在7附近。我
使用
adam optimiser,它可以解决学习率问题。这种巨大
的
跳跃不会发生在SG
浏览 1
提问于2018-04-03
得票数 2
1
回答
如何加载部分预训练
的
pytorch
模型
?
python
、
machine-learning
、
pytorch
、
pre-trained-model
、
spacy-transformers
我正在尝试让pytorch
模型
运行在句子
分类
任务上。在处理医学笔记时,我
使用
的
是ClinicalBert (https://github.com/kexinhuang12345/clinicalBERT),并希望
使用
其预先训练好
的
权重。不幸
的
是,ClinicalBert
模型
只将文本
分类
为1个
二进制
标签,而我有281个
二进制
标签。,其中
bert
浏览 94
提问于2020-04-14
得票数 6
1
回答
使用
Softmax进行
二进制
分类
binary
、
classification
、
keras
、
softmax
、
sigmoid
我正在
使用
Sigmoid激活函数和
二进制
交叉点训练一个
二进制
分类
器,它
的
准确率
在98%左右。当我
使用
softmax和categorical_crossentropy进行训练时也是如此,
准确率
非常低(< 40%)。我将binary_crossentropy
的
目标作为0和1
的
列表传递,例如: 0,1,1,1,0。这是我用于第二个
分类
器
的
模型
浏览 3
提问于2017-08-21
得票数 16
回答已采纳
1
回答
在多标签
分类
的
基础上
使用
多类
分类
是一种不良做法吗?
python
、
classification
、
multiclass-classification
、
multilabel-classification
我有一个多标签
的
分类
问题--数以百万计
的
记录可能包含多个标签。我在网上遇到了与缺乏研究/例子有关
的
问题,并且无法创建一个强有力
的
模型
。是否建议不要建立多类
分类
模型
,并将任何预测概率超过0
的
标签视为潜在
的
标签?即使
使用
问题转换,如
二进制
相关性和
分类
器链,
准确率
也非常低(~12%),而不是
使用
朴素贝叶斯和获得57%
浏览 0
提问于2018-06-04
得票数 1
1
回答
使用
BERT
模型
检索“相关令牌”(已经过微调)
keyword
、
bert-language-model
、
huggingface-transformers
、
attention-model
我已经针对
分类
任务对
BERT
模型
(
使用
huggingface库)进行了微调,以预测两种类型
的
帖子类别(例如,1和0 )。但是,我需要检索被预测为类别1
的
文档
的
“相关令牌”(例如)。我知道,一旦我用
BERT
模型
将所有帖子标记为1(例如),我就可以
使用
传统
的
TF-IDF方法。但我有以下问题:有没有可能用经过微调
的
BERT
模型
的
架构来
浏览 19
提问于2021-03-30
得票数 0
1
回答
我需要微调最后
的
卷积层,在一个最先进
的
CNN
模型
,如ResNet
50
?
python
、
machine-learning
、
keras
、
deep-learning
、
transfer-learning
我
的
毕业设计是
使用
CNN
模型
上
的
转移学习,它可以从胸部X光图像中诊断新冠肺炎。利用贝叶斯优化器利用Keras调谐器库对完全连通层数、层中节点数、学习速率、下降率等超参数进行微调,得到了很好
的
结果,多类
分类
的
测试
准确率
为98%,
二进制
分类
的
测试
准确率
为99%。然而,我冻结了所有的层在原来
的
基础
模型
。我只微调了最后一个完全连接
的
层后
浏览 3
提问于2021-02-10
得票数 0
回答已采纳
1
回答
BertModel或BertForPreTraining
deep-learning
、
nlp
、
bert-language-model
、
huggingface-transformers
、
transformer-model
我只想
使用
Bert
嵌入和
使用
Bert
输出作为一个
分类
网
的
输入,我将从零开始构建。我认为相关
的
类是BertModel或BertForPreTraining。头包含两个“动作”:self.predictions是MLM (蒙面语言建模),它赋予了
BERT
修正语法错误
的
能力,self.seq_relationship是NSP (下一句预测),通常被称为
分类
头。Bert
浏览 8
提问于2021-03-12
得票数 4
回答已采纳
1
回答
利用深度学习预测文本索引
lstm
、
multilabel-classification
、
sequence
我想预测文本
的
开始和结束指数,其中
使用
了某种类型
的
宣传技术,如涂片、名字调用、加载语言等。数据集中
的
一些例子如下:因此,0和41意味着第一个例子<em
浏览 0
提问于2022-02-16
得票数 1
1
回答
Keras DNN预测
模型
的
精度没有提高
python
、
tensorflow
、
machine-learning
、
keras
、
deep-learning
我正在尝试
使用
<code>C0</code>数据训练Keras DNN
模型
进行预测。我已经对数据进行了标准化,并将其分为训练、测试和验证部分。我遇到了一个关于我
的
晒黑和验证准确性
的
问题,它(几乎)
保持
不变。精度始终停留在(0.1431)。我尝试了许多不同
的
超参数,包括将激活函数更改为tanh和relu,并尝试在第一个密集层之后添加批处理归一化层,我
使用
了SGD优化器(更改了学习率、动量,甚至尝试将优化器更改为Adam),尝试了不同<em
浏览 8
提问于2020-07-31
得票数 0
1
回答
Spacy中
的
顺序/上下文感知文档/句子向量
nlp
、
spacy
、
text-classification
、
document-classification
、
spacy-transformers
我想用句子做一些有监督
的
二进制
分类
任务,并且一直在
使用
spaCy,因为它易于
使用
。我
使用
spaCy将文本转换为向量,然后将向量提供给机器学习
模型
(例如XGBoost)来执行
分类
。在spaCy中,很容易加载 (例如
BERT
/ Roberta / XLNet)来将单词/句子转换为nlp对象。然而,直接调用对象
的
向量将到令牌向量
的
平均值。这里有两个问题: 1)我们能做得比简
浏览 17
提问于2020-05-06
得票数 0
1
回答
Keras NLP验证损失随着训练精度
的
提高而增加
tensorflow
、
keras
、
nlp
、
word-embedding
、
hyperparameters
我看过其他有类似问题
的
帖子,我
的
模型
似乎过拟合了。然而,我尝试了正则化,dropout,减少参数,降低学习率和改变损失函数,但似乎没有什么帮助。这是我
的
模型
:Embedding(max_words, 64),Bidirectional(GRU(64, return_sequencesx_train,y_train, batch_size=32, epochs=25, verbose=1, validation_data=(x_test
浏览 0
提问于2020-05-07
得票数 0
1
回答
如何将
bert
的
嵌入向量与其他特征结合起来?
python
、
python-3.x
、
bert-language-model
、
word-embedding
我正在
使用
3个标签(0,1,2 = neg,pos,neu)进行
分类
任务。数据是句子。因此,为了生成句子
的
向量/嵌入,我
使用
一个
Bert
编码器
来获取每个句子
的
嵌入,然后
使用
一个简单
的
knn进行预测。我
的
数据是这样
的
:每个句子都有一个标签和其他
分类
的
数值。例如,我
的
数据如下所示 Sentence embeddings_
BERT</
浏览 1
提问于2021-08-17
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
亚马逊:我们提取了BERT的一个最优子架构,CPU速度升7倍
用于自然语言处理的BERT-双向Transformers的直观解释
五问BERT:深入理解NLP领域爆红的预训练模型
模型跨界成潮流?OpenAI用GPT-2做图像分类,实现SOTA性能
基于深度迁移学习的多语种NLP技术原理和实践
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券