如何将hashtag和它们的单词作为单个令牌

文章/答案/技术大牛

发布

1回答

r、token、udpipe

如何更改默认设置，以防我想要保持标签符号及其单词的完整性(即#company而不是# and company)我得到的是#和company作为两个不同的标记。我希望#company作为单个令牌。尽管我将@mr_jones作为一个单独的令牌。

浏览 19提问于2018-12-21得票数 0

回答已采纳

1回答

MySQL全文搜索哈希标签(包括索引中的#符号)

mysql、full-text-search、myisam、hashtag

我确信应该有一种方法可以使用MyISAM表中的全文索引来搜索哈希标签。默认设置将执行以下操作：hashtag#two #hashtag #hashtag > | hashtag | > | #hashtag

浏览 4提问于2014-01-23得票数 2

回答已采纳

2回答

基于Tkinter文本Widget中的第一个字符标记整个单词

python、tkinter

我试图根据第一个字符来标记和突出显示整个单词。在下面的示例中，我正在搜索hashtag "#“。我想标记并高亮显示后续字符，直到下一个空格。所以字符"#hashtag“都应该是蓝色的。下面的代码查找哈希标签，并将其突出显示为蓝色，而不是随后的字符。根据effbot.org “wordstart”和“wordend”将索引移到当前单词的开头(结束)。单词是由字母、数字和下划线或<

浏览 1提问于2018-05-06得票数 0

回答已采纳

1回答

Solr -在方面合并类似的术语？

solr、collation、facet

我正在使用Solr的facet特性检索文档中最常见的索引，我想知道是否有可能将类似术语的频率“合并”(例如，借助levenshtein距离)。谢谢你的帮助！

浏览 4提问于2013-06-17得票数 0

3回答

删除句子末尾的标签

php、regex、hashtag

我想删除文本末尾以space和#符号开头的所有单词。不应删除句子中的URLS或hashtag。remove #removeme #removeüäüö";var_dump( $matches ); 我的想法是检查从文本末尾开始的每个单词，在前面有一个space作为前导#，直到它不再是这样。<e

浏览 0提问于2015-04-23得票数 1

2回答

dfm中"remove_twitter“的新方法是什么？

quanteda、dfm

使用R 3.6.3、RStudio 1.2.5042和泉泰达2.0.1。我理解上下文中不推荐的意思，但我不理解第二部分:用'what =‘word’代替。有经验的用户能澄清一下吗？谢谢。

浏览 2提问于2020-04-19得票数 1

回答已采纳

1回答

如果单独存在，则使用正则表达式删除重复的特殊字符，但如果被单词或数字包围，则不使用正则表达式。

python、regex、python-3.x、machine-learning、nlp

如何从字符串IFF中删除特殊字符，它是作为个人存在的。我正在尝试一个推特作者分类模型，我的想法是有些人使用特殊字符作为商标，它可以帮助模型更好地判断，例如A$APwhatt??I'm thinking....但不想删除#hashtag_for_life或类似的东西re.sub(r&#

浏览 2提问于2020-03-26得票数 0

回答已采纳

6回答

在Lucene中标记Twitter帖子

twitter、lucene、tokenize

简单地说，我的问题是:有人知道Lucene的TwitterAnalyzer或TwitterTokenizer吗？更详细的版本：String newText = newText.replaceAll("

浏览 1提问于2010-03-31得票数 7

回答已采纳

2回答

我应该如何保存hashtags

ios、swift、hashtag

我试图将带有图像的哈希标签保存到我的服务器上。现在我正在尝试保存标题中的主题标签，我有一种方法，但我不确定。因此，在上传图像并单独保存每个散列表时，是否应该在标题文本中搜索"#“前缀，并在" hashtag”表中为每个不同的哈希标签创建一个新行？这似乎是最基本的方式，但如果有20个哈希标签，那不是20个查询吗？现在我不这样做20+查询上传1张图片将是一

浏览 2提问于2016-12-14得票数 0

回答已采纳

5回答

如何将散列标记作为一个整体进行标记？

python、tokenize、spacy、hashtag

在包含hashtag(如tweet )的句子中，spacy的标记器将哈希拆分为两个标记：nlp = spacy.load('en') doc = nlp(u'This is

浏览 6提问于2017-04-13得票数 6

回答已采纳

1回答

Regex来匹配一个条件，除非它是一个hashtag。

python、regex、hashtag

我试图写一个regex语句来删除数字或包含数字的单词，只有当它们不是hashtag的时候。我能够成功地匹配包含数字的单词，但似乎不能编写忽略以主题标签开头的单词的条件。下面是我用来尝试寻找解决方案的测试字符串：我需要一个regex命令，它将捕获123、h3llo、als

浏览 4提问于2022-03-31得票数 0

回答已采纳

2回答

有比使用正则表达式更快的解析哈希标签的方法吗？

ruby-on-rails、ruby、regex、hashtag

我很好奇，除了使用正则表达式(主要是Ruby)之外，还有更快/更好的方法来解析字符串中的哈希标签吗？编辑例如，我希望解析字符串This is a #hashtag, and this is #another one!并获得单词#hashtag和#another。我正在使用#\S+作为正则表达式。

浏览 4提问于2012-12-16得票数 3

回答已采纳

1回答

在matlab中，如何将文本从.txt文件存储到单元格数组中？

arrays、matlab、twitter、hashtag

对于我正在做的这个项目，我必须分析一家公司twitter页面上的推文。我收集了这家公司的最后30条推文，并将其放入一个.txt文档，其中每一行都是一条不同的推文。(hashtag也应该包含hashtag中的短语或单词。例如，#matlab #programming #stackoverflow。)我真的很困惑如何将它们存储到单元数组中。这就是我目前所掌握的代码。它所要做的就是计算整

浏览 1提问于2013-12-06得票数 0

3回答

php从文本块中提取所有的hashtag和twitter名称

php

我在php中有一个文本块，我希望能够从其中提取所有的hashtag和twitter名称，并将它们打印为一个新的字符串。例如：我想要创建一个新字符串： $extracted = "#hashtag @twittern

浏览 1提问于2017-05-15得票数 3

回答已采纳

1回答

stanfordnlp -训练空间分隔的单词作为斯坦福NER模型生成的单个标记

stanford-nlp

我已经阅读了这里给出的详细描述-根据.prop文件基于标记的输入文件训练模型的。我的文本语料库有一些空格分隔的单词，它们不是单个单词，而是组合在一起形成一个标记。例如，"Wright State University“是一个单独的标记，而Wright、State和University是单独的实体。我想将上面的令牌作为一个单独的<

浏览 0提问于2016-09-19得票数 2

1回答

基于TfidfVectorizer的n-图矢量化

scikit-learn、tf-idf

我使用的TfidfVectorizer参数如下：我正在传达以下文字：“红色的太阳，粉红色的糖果。绿色的花。”', 'icecream', 'like', 'moon', 'pink', 'pink candy', 'r

浏览 3提问于2018-08-31得票数 3

回答已采纳

2回答

向json对象添加数组(值列表)

javascript、json

我尝试遍历一些json (来自twitter的集群twees )，并计算特定关键字(Hashtag)出现的频率，这样我就可以创建一个常用单词的有序列表。本(19)帽子(3)var hashtags = []; hashtags[new_tag] = 1;hashtags[hashtag<

浏览 0提问于2011-09-23得票数 0

回答已采纳

1回答

在键入哈希标签时查找(并删除)它们

javascript、reactjs

对于文本输入字段，我能够在输入时‘收集’hashtag。.;问题是用户还可以通过删除字符来“删除”哈希标签。我被困在如何将它们移除(有效)上。更新的用户输入：If #this is // User has removed the other stuff. hashtags === ['#this'] // true;

浏览 4提问于2022-11-18得票数 0

1回答

"fr，en；q=0.3“是一个有效的接受语言值吗？

html

根据RFC，在单词和分隔符之间有*LWS是没问题的。但是，如果您查看匹配接受语言字段的特定ABNF，它不允许在;字符周围使用空格。隐含*LWS：本规范描述的语法是基于字的。除非另有说明，线性空白(LWS)可以包含在任何两个相邻的单词(令牌或引号-string)之间，以及相邻的单词和分隔符之间，而不需要更改字段的解释。至少有一个分隔

浏览 6提问于2016-10-19得票数 1

1回答

变压器PreTrainedTokenizer add_tokens功能

pytorch、bert-language-model、huggingface-transformers

提到来自Huggingface的超棒变形金刚库的，我看到了add_tokens函数。tokenizer.add_tokens(['new_tok1', 'my_new-tok2'])通过在默认词汇表中添加以前缺席的单词然而，在保持所有其他不变的情况下，我注意到利用这个更新的tokenizer，精细调优分类器的准确性下降了。我能够复制类似的

浏览 2提问于2020-02-05得票数 3

点击加载更多