腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
了解
gpt-2
如何
对
字符串
进行
标记
化
python
、
huggingface-transformers
、
transformer
、
gpt-2
="pt") last_hidden_states = outputs.last_hidden_state 所以我意识到“input”是由我句子的
标记
化
项组成的但是,
如何
获取
标记
化
项的值呢?
浏览 38
提问于2021-04-28
得票数 0
回答已采纳
3
回答
GPT-2
中的层规范
化
细节
deep-learning
、
normalization
、
transformer
我读过
GPT-2
和其他变压器在自我关注和前馈块之前使用层规范
化
,但我仍然不确定规范
化
是
如何
工作的。对于变压器中的给定层,计算了多少归一
化
统计量(样本平均值和stdev)?对于12x1024的规范
化
,我们是否每个令牌
进行
一次规范
化
,以便每个令牌中的特征值平均为0和std 1?还是
对
12x768规格
化
的每个特性的值
进行
规范
化
?还是我们将所有
标记
的所有特征值标准
浏览 0
提问于2021-01-27
得票数 5
3
回答
如何
修改
gpt-2
代码以使用Tensorflow 2.0?
python
、
docker
、
tensorflow
、
tensorflow2.0
、
gpt-2
我正在尝试使用
gpt-2
来生成文本。即使在运行Tensorflow 2.0 之后,也会出现兼容性错误。我遵循的步骤: 跟踪(最近调用的最后一次调用):文件“src/generate_无条件_samples.py”,第9行,在导入模型、示例、编码器文件“&
浏览 40
提问于2020-08-11
得票数 2
1
回答
在Python语言的词法分析阶段
对
f
字符串
进行
标记
parsing
、
lexical-analysis
、
f-string
我最近通过Aho的龙书
了解
到了编译器。据我所知,语言首先要经过词法分析才能
进行
标记
化
。对于像C/C++和Java这样的语言来说,这个过程似乎足够简单。但是对于Python,特别是Python3,f
字符串
应该
如何
表现呢?我不认为仅通过正则表达式或使用lex
进行
词法分析就可以像f"1+2 = {int(f'{1}') + int(f'{2}')}"那样
对
字符串
进
浏览 25
提问于2021-08-30
得票数 1
回答已采纳
1
回答
在NLP中,
gpt-2
的正确输入是什么?
nlp
、
data-science-model
、
transformer
、
gpt
我正在微调预训练的
gpt-2
文字摘要。数据集包含“文本”和“参考摘要”。因此,我的问题是,
如何
添加特殊的令牌,以获得正确的输入格式。如果是这样的话,接下来的问题是最大
标记
长度(即
gpt-2
的1024 )是否也意味着连接的文本长度和参考摘要? 任何评论都将是非常感谢的!
浏览 0
提问于2020-12-11
得票数 4
1
回答
GPT-2
体系结构问题
machine-learning
、
neural-network
、
nlp
、
pytorch
、
gpt
我已经提出了一个架构-它将基于
GPT-2
。但是现在我很难理解它的输出的一般格式。我检查了
GPT-2
的这 PyTorch实现,下面是我所理解的:区块只是一个具有注意层和卷积层的解码器块。为什么它是一个矩阵,然后
如何
得到向量?拜托,你能帮我理解一下吗?我很感谢你的帮助。提前谢谢你!
浏览 0
提问于2023-03-17
得票数 0
回答已采纳
2
回答
单字符strtok
c
我必须使用以下格式
对
字符串
进行
标记
:
如何
使用strtok
对
该
字符串
进行
标记
化
(一旦完成
标记
化
,我就不再需要该
字符串
)。
浏览 1
提问于2012-10-30
得票数 3
回答已采纳
1
回答
使用apache lucene
标记
字符串
java
、
lucene
如何
根据模式
对
字符串
进行
标记
化
?arg1:aaa,bbb AND arg2:ccc OR arg3:ddd,eee,fff所以稍后,我想将这些单独的令牌集传递给一个方法,并根据":“<em
浏览 1
提问于2013-07-23
得票数 0
回答已采纳
1
回答
如何
从
gpt-2
获取概率形式的logit值?
python
、
tensorflow
、
keras
、
nlp
、
tensor
我使用的是
gpt-2
简单包:https://github.com/minimaxir/gpt-2-simple 我希望获得所有可能的下一个令牌的概率作为输出。context_tokens]}) logit_out = sess.run(logit_output, feed_dict={context: batch_size * [context_tokens]}) 我希望将输出
标记
链接到它们的温度分割logit值,然后
对
它们
进行
解码,以获得每个
标记
的概率,如上面的
浏览 26
提问于2020-02-03
得票数 1
回答已采纳
1
回答
文本文件中的POS
标记
python-3.x
、
nltk
我想在一个包含以下句子的文本文件(file1.txt)中应用POS
标记
:你好吗? 首先我想
对
它
进行
标记
化
,然后使用POS
标记
器。我知道
如何
对
字符串
进行
标记
化
和
标记
。但我不确定
如何
在文件中做到这一点。任何帮助都将不胜感激。
浏览 0
提问于2017-06-19
得票数 0
1
回答
使用用户提供的关键字生成文本
deep-learning
、
nlp
、
language-model
、
text-generation
、
gpt
下面是我需要的一个例子:最终用户:数据科学家国家:阿联酋应用:机器学习输出(卷括号只是突出显示):
了解
{中东的{数据科学家}(如{UAE} )
如何
使用{BigPanda}将其{机器学习}进程简化为{较低的成本和运行时}。我认为这是可能的一种方法是使用
GPT-2
模型,也许用dataset
对
其
进行
细化,但我还没有弄清楚我将
如何
将它用于类似的事情。
浏览 0
提问于2020-05-23
得票数 2
1
回答
单词
标记
化
NLTK缩写问题
python
、
nltk
我想知道
如何
对
以下句子(
字符串
)
进行
单词
标记
化
: "I am good. I e.g. wash the dishes." 以下几句话: ["I", "am", "good", ".这样的缩写时,它被NLTK word_tokenizer
标记
为如下["e.g", "."] 我尝试使用与"e.g."一起训练的punkt首先<
浏览 20
提问于2019-03-17
得票数 0
回答已采纳
1
回答
这是nn.Transformer的工作方式吗?
pytorch
如果我想把一个图像转换成另一个图像,那么 transformer_model = nn.Transformer(img_size, n_heads) transformer_model(source_image, target_image) 这是使用nn.Transformer的正确方式吗?
浏览 27
提问于2019-10-07
得票数 2
3
回答
Android:格式
字符串
到html -添加新行<br/>
java
、
android
、
html
、
string-formatting
我需要格式
化
从用户到HTML的文本,但是输入是多行的,我必须将
字符串
中的所有“输入”替换为HTML
标记
。String message = messageEditText.getText().toString(); 这是我想要格式
化
的信息。
如何
对
字符串
进行
相应的格式
化
?
浏览 12
提问于2014-10-03
得票数 1
回答已采纳
2
回答
为什么Byte级BPE的词汇量比Unicode的词汇量小?
unicode
、
utf-8
、
nlp
我最近读了GPT2,报纸上说:我不明白逻辑。我既不知道逻辑,也不知道
如何
得出这个结果。,,BBPE是
如何
工作的?,,为什么词汇量变小了?(从130 K到256个字节),我们总是需要130 K的空间。由于
浏览 3
提问于2021-02-14
得票数 2
回答已采纳
4
回答
基于逗号-正则表达式
对
字符串
进行
标记
java
、
regex
我有一个
字符串
要根据,字符
进行
标记
化
。这里的问题是
字符串
是这样的-123 abc-456 zyx (4,5,6) and xyz (6,5,4) 789 final!
如何
为此编写正则表达式?蒂娅。
浏览 0
提问于2012-09-05
得票数 2
回答已采纳
1
回答
并行地向hashmap添加数据
c++
、
thread-safety
、
c++11
、
parallel-processing
我有4个线程从网络中检索长
字符串
(我使用的是c++11 std::Threads.),在每个线程中,我
对
它们接收到的
字符串
进行
标记
。
标记
化
本身也是使用新的Microsoft AMP库
进行
并行
化
的(因此,
标记
化
过程是由GPU线程完成的)。我希望4个“主线程”中的每个线程在GPU线程完成对
字符串
的
标记
化
后(然后重复此过程),将令牌作为关键字添加到ha
浏览 2
提问于2012-04-09
得票数 0
回答已采纳
3
回答
如何
在C中用符号
标记
化
句子
c
、
bash
、
unix
、
pipe
、
execvp
我试图弄清楚
如何
对
Unix命令
进行
标记
化
,但我不知道
如何
解决strtok()会拆分作为分隔符的任何字符的事实。例如,strtok(string, ". ")将删除句点和空格。我尝试
对
字符串
进行
标记
化
,可能是类似于ps aux( sort ( more,并且在括号前后有空格。即使我使用strtok(string, "("),在单词之前或之后仍然有空格,显然exe
浏览 3
提问于2020-02-09
得票数 1
2
回答
如何
使用tokenize模块
对
python代码
进行
标记
化
?
python-3.x
、
tokenize
假设我有一个包含python代码的
字符串
。connections","connects"] stemmed_words"
如何
对
代码
进行
标记
化
我找到了
标记
化
模块()。然而,我并不清楚
如何
使用这个模块。它有tokenize.tokenize(readline),但是参数需要一
浏览 1
提问于2020-06-03
得票数 3
4
回答
如何
对
其
进行
标记
化
?
lexical-analysis
123abc(
标记
器是否应该检查分隔符并报告错误?如果是,那么应该返回哪些令牌?在发现无效令牌后,记号赋予器应该从哪里继续读取?或者,
标记
器应该简单地返回123作为整数,返回abc作为标识符,并让解析器检测错误吗?
浏览 5
提问于2011-11-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何对Microsoft Office进行个性化设置
如何对环氧防腐漆的分类进行了解
如何利用python对HTTP代理进行自动化维护?
激光点云数据可视化|如何对激光点云数据进行在线浏览?
GPT-2和Transformer很好用,但不是AI生成文本的最终目标
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券