2回答
我尝试了很多不同的方法，参考了很多帖子，但都使用了相同的方法，没有解释，我只是想测试多种语言，其他语言似乎工作得很好，但不适用于日语，我不知道为什么。
浏览 50提问于2020-07-12得票数 2
回答已采纳
当我对我的数据进行标记化时，我会遇到一些问题，并得到一条错误消息。
浏览 1提问于2021-03-22得票数 1
1回答
如何获取角字句中的标记数
、、、、
我有一个句子和一个预先训练过的记号器。我想要计算句子中标记的数量，没有特殊的标记。我使用来自HuggingFace的HuggingFace。
浏览 6提问于2022-03-05得票数 0
回答已采纳
我正在尝试执行huggingface网站的示例代码：import tensorflow as tfcute", return_tensors="tf")我使用的是anaconda，我预先安装了带有conda install -c huggingface</
浏览 144提问于2022-10-05得票数 -1
2回答
我试图测试拥抱脸的prithivida/parrot_paraphraser_on_T5模型，但得到的令牌没有发现错误。warnings.filterwarnings("ignore")我所犯的错误login` or `huggingface_hub.login`.You need to provide
浏览 245提问于2022-11-27得票数 0
我正在尝试理解merge.txt文件在HuggingFace库中RoBERTa模型的标记器中推断出什么。然而，他们的网站上对此只字不提。任何帮助都是非常感谢的。
浏览 10提问于2020-06-01得票数 4
根据我的实验和讨论，Sqlite FTS似乎不支持搜索日语字符。'ＢＳジャパンの見どころ' select * from tblEvent_shortdes where short_des MATCH 'パンの見'
FTS中的自定义标记器似乎是实现这一点的方法，但我没有发现任何有前途的日语开源标记器。ICU标记器</
浏览 0提问于2011-07-06得票数 2
回答已采纳
我正在处理一个用于内容分类的大型文本数据集。我已经实现了distilbert模型和distilberttokenizer.from_pretrained()记号赋予器。这个标记器花费了令人难以置信的时间来标记化我的文本数据，大约需要7分钟，只有14k条记录，这是因为它在我的CPU上运行。 有没有办法强制令牌器在我的GPU上运行。
浏览 168提问于2021-02-08得票数 1
回答已采纳
我只是想知道，如果微调BERT模型并保存它，标记器是否会受到某种影响或发生变化。以后使用保存的BERT模型时，我是否也需要在本地保存记号赋予器以重新加载它？我就是这么做的 bert_model.save_pretrained('./Fine_tune_BERT/') 但是我是否也需要节省令牌器呢？或者我可以用正常的方式来使用它，比如： tokenizer = BertTokenizer.from_pretrained('
浏览 358提问于2020-10-20得票数 1
回答已采纳
无法使拥抱face的/whoami端点工作。我正在使用curl，并在Authorization头中传递从UI中获得的令牌。$ curl https://huggingface.co/api/whoami -H "Authorization: Bearer <token>"同时，我可以使用相同的标记来获取私有模型。$ c
浏览 5提问于2022-01-31得票数 0
回答已采纳
1回答
无/少标签文本数据的主题分类
、、、、
我想将文本输入分类为预定义的类别。据我所知，如果我的目标标签在预先培训过的模型中非常罕见，那么无监督的方法是不可行的(我有关于特定工业过程的标签)。这是真的吗？否则，我可以尝试一种方法，例如，使用所有不同的标签标记1000个输入文本，并使用有监督的方法，很少有标记的数据。这对学习过程有帮助吗？在这种情况下我能用什么方法呢？
浏览 0提问于2023-02-09得票数 1
回答已采纳
我正在尝试运行huggingface示例中的语言模型微调脚本(run_language_modeling.py)，使用我自己的标记器(刚刚添加了几个标记符，参见注释)。加载令牌器时出现问题。resume_download, 250 )
/z/huggingface_venv&#
浏览 42提问于2020-05-22得票数 2
我正在使用Huggingface BERT执行NLP任务。我的文本包含公司名称，这些名称被分成几个子词。token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1]} 现在，我想将这些名称添加到标记器tokenizer.add_tokens("Somespecialcompany")
output: 1 这将标记器<e
浏览 61提问于2020-11-04得票数 3
我使用pytorch训练huggingface-transformers模型，但每个时期，总是输出警告：
The current process just got forked.
浏览 15提问于2020-07-02得票数 15
回答已采纳
1回答
假设我有两个标记化的BERT序列：seq2 = tensor([[ 101, 2023, 2003, 6019, 1015, 102]])seq = torch.tensor(tokenizer.encode(text=query, add_special_tokens=True)).unsqueeze
浏览 20提问于2020-08-04得票数 0
我正在使用HuggingFace转换器AutoTokenizer来标记化小段文本。但是，这种标记化在单词中间拆分不正确，并且在标记中引入了#字符。我尝试了几种不同的模型，结果都是一样的。下面是一段文本和从它创建的标记的示例。['[CLS]', 'CT', '##O', 'at', 'T', '##LR
浏览 53提问于2021-11-10得票数 2
回答已采纳
我正在尝试运行这里的(新)教程：，但在尝试加载ByteLevelBPETokenizer时遇到错误。我从一个现有的conda环境开始，也尝试了一个全新的环境，但两者都给出了相同的错误：
Exception has occurred: ImportError cannot import name 'ByteLevelBPETokenizer我用的是Ubuntu 18.04，Python 3.7
浏览 110提问于2020-02-16得票数 1
3回答
我已经为我的应用程序实现了lucene，它工作得非常好，除非你引入了像日文字符这样的东西。问题是，如果我使用日语字符串こんにちは、このバイネイです，并且使用こ搜索第一个字符，那么它可以很好地工作，而如果我在搜索标记中使用多个日语字符(こんにち)，则搜索会失败，并且找不到文档。lucene中是否支持日语字符？要进行哪些设置才能使其正常工作？
浏览 3提问于2010-04-15得票数 7
回答已采纳
我遇到了类似的东西：BERT tokenizer & model download 上面的链接是关于下载Bert模型本身的，但我只想使用Bert Tokenizer。但是我不知道这里需要哪些文件：https://huggingface.co/bert-base-uncased/tree/main，这样我才能构建记号赋予器？
浏览 125提问于2021-10-18得票数 0
回答已采纳
当尝试在sagemaker上使用Huggingface估计器时，请在亚马逊SageMaker上进行培训。# create the Estimator entry_point='train.py', hyperparameters = hyperparameters当我试图将版本提高到transformers_ version ='4.24‘时，
浏览 25提问于2022-11-23得票数 3
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
