1回答
我使用tensorflow.keras.preprocessing.text中的Tokenizer()函数如下： from tensorflow.keras.preprocessing.text import{'the': 1, 'quick': 2, 'brown': 3, 'fox': 4, 'jumped': 5, 'over': 6, 'lazy': 7, 'dog&
浏览 11提问于2020-09-30得票数 1
回答已采纳
3回答
当使用空格标记器时，一个类似于“那里，他是”的文本。会分成“那里”、“他”和“是”。当然，我希望删除标准令牌程序自动删除的标点符号。
我需要使用空格标记器，主要是因为我不希望连字符被分割。有什么方法可以在我仍然使用标准令牌器的同时实现这一点呢？
浏览 4提问于2014-02-23得票数 5
1回答
我刚开始使用NLTK，我注意到它对非ascii标点符号不起作用。例如，“被标记为名词。此外，使用非ascii标点符号会打乱其余单词的词性标记，因为NLTK将“解释为一个单词，而不是标点符号。是否有一个设置可以允许NLTK识别非ascii标点符号？因为使用一个非unicode标点符号会弄乱整个文档的词性标记，所以我不能只用"替换所有的“。
浏览 1提问于2015-07-08得票数 1
1回答
标点符号是否会影响NLTK的词性标记器的行为？或者，在将句子传递给词性标记器之前，去掉句子中的标点符号可以吗？
浏览 18提问于2019-09-09得票数 1
回答已采纳
3回答
在php和java中，有分解和标记器函数来将字符串转换成没有标点符号数组。都是delphi中的函数或某种方式来完成这项工作。假设有一个大文件“这是一个带有标点符号、空格和数字123的大文件……”如何获取数组“这是一个包含标点符号、空格和数字123的大文件”
非常提前感谢您。我们是否可以在Tperlregex中使用regex来提取\w，并将它们放入Tstringlist中，就像tstringlist是一个数组一样，但它可能不是那么有效？
浏览 2提问于2010-10-22得票数 0
回答已采纳
我是Solr的新手。通过阅读Solr的维基，我无法理解WhitespaceTokenizerFactory和StandardTokenizerFactory之间的区别。他们真正的区别是什么？
浏览 1提问于2012-06-25得票数 11
回答已采纳
我正在考虑利用Lucene的在非IR上下文中进行单词标记化。
我知道这个标记器删除了标点符号。有没有人知道(或者碰巧有经验)让它将标点符号作为单独的标记输出？
浏览 0提问于2015-02-05得票数 1
我正在使用CountVectorizer从sklearn进行文本标记(2克)，并创建一个术语文档矩阵。如何以标点符号作为边界将文本标记为2克？例如，输入的句子是“这是示例，带有标点符号”。我希望标记是"this is"，"is示例“，"with标点符号”。我不想要“示例with"，它在逗号后面。
浏览 1提问于2017-09-15得票数 0
1回答
如何在标记器的中缀列表中添加自定义标点符号(例如星号)，并让nlp.explain将其识别为标点符号？我希望能够将当前未被识别为标点符号的字符添加到集合中缀列表中的标点符号列表中，以便匹配器在匹配{'IS_PUNCT': True}时可以使用它们。唯一的问题是我无法将新识别的标点符号与模型打包在一起。附注:记号赋予器已经识别了带有所需标点符号的中缀，所以剩下的就是将其传播到Mat
浏览 37提问于2021-11-04得票数 0
我正在看这个Tensorflow colab教程，介绍如何用Transformers，https://www.tensorflow.org/tutorials/text/transformer来翻译语言，他们用一个子单词文本标记器来标记这些单词。我以前从未见过一个子词记号器，也不知道为什么或什么时候应该使用它，而不是单词记号器。7915 ----> T
1248 ---->
浏览 0提问于2020-10-09得票数 3
回答已采纳
除了‘*^之外，我想标记字符串标点符号当我使用：
text = "hai*ini^ema`il saya lunar!我想要标记，但不想标记*^
浏览 2提问于2021-06-16得票数 0
我正在尝试使用chargroup标记器来构建一个基于空格和标点符号的标记器。我发现，至少有：whitespace，letter，digit，punctuation，symbol。我不知道为什么@被认为是标点符号，但我猜它可以在电子邮件地址中被视为标点符号吗？例如email@example.com。(或者，是否有一种更优雅的方法可以根据standard标点符号列表来区分标记？)。
浏览 0提问于2019-12-22得票数 7
回答已采纳
1回答
我正在寻找一种方法来将对“刘”、"la'u“和(理想情况下) "la u”的查询与以下数据匹配：我的分析器是： folding这将发出以下标记，其中显示了修改后的撇号被一个普通的撇号替换： "tokens": [ "token": "la'u","type": "<ALPHANUM&g
浏览 0提问于2018-04-02得票数 0
4回答
解析文本，但保留标点符号
、、、
我正在使用这段代码来遍历一些输入的文本，并提取由标记分隔的句子：[NSCharacterSet characterSetWithCharactersInString\n"];问题是，结果数组被从标点符号中去掉。如何使用适当的标点符号存储数据？如果可能的话，我希望保持句子
浏览 3提问于2013-11-29得票数 1
回答已采纳
1回答
我正在对多语言数据进行字级分类，我使用XLM，我知道XLM使用sentencepiece作为标记器，有时将单词标记为子单词。例如，句子“欺骗主”被标记为de ception master，该词已被标记为两个子单词。
我可以将最终隐藏的嵌入
浏览 1提问于2021-03-26得票数 0
回答已采纳
上面的情况不会在我的完全匹配分析器上工作，因为查询在末尾缺少了3。我当时的印象是通配符匹配会被打破，但是如果我执行类似于上面的搜索，我就会胡说八道。2.1) .Query(searchQuery)))); Tok
浏览 2提问于2014-07-09得票数 5
2回答
我正在使用属于的数据集。我的目标是在对数据集应用一些文本预处理步骤之后对其进行标记化。!pip install tensorflow-gpu==2.0.0-alpha0import tensorflow_datasets as tfds为了标记化数据集，我遇到了函数(另请参阅)。我希望标记器简单地拆分空格，而不是将空格视为单独的标记
浏览 0提问于2019-05-28得票数 5
我使用一系列同义词来替换句子中的单词。该函数可以工作，但输出有一个小问题
New sentence : 'Un aubercot est bon.'因为我正在做一些相当长的复习，标点符号真的很重要。代码如下：
def
浏览 3提问于2021-11-19得票数 1
我有一组标点符号：如何使用$punctuation数组中的一个字符作为“$max_chr”，将该字符串拆分为最多的键字符？因此，基本上应该在最近的标点符号字符处拆分字符串，而不是在HTML标记定义/属性中拆分(如果拆分发生在标记内容中并且标记保持未闭合状态，这并不重要--因为我稍后将检
浏览 5提问于2011-10-05得票数 2
回答已采纳
我们正在尝试选择一个标记器在我们的注释管道中使用。目前，我正在用一些twitter文本测试PTBTokenizer。、“和”识别为单独的标记，而是将“test.And”作为单个标记。标记器中是否有任何选项或设置可以将句子末尾标点符号识别为单个标记符，即使后面没有空格？
谢谢。
浏览 2提问于2018-01-30得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
