使用awk从文件创建单词索引
是一种常见的文本处理任务，可以帮助我们快速查找文件中特定单词的位置和出现次数。下面是一个完善且全面的答案：
单词索引是指将文件中的单词按照字母顺序进行排序，并记录每个单词在文件中的位置和出现次数的过程。awk是一种强大的文本处理工具，可以用于处理结构化文本数据。
在使用awk创建单词索引之前，我们需要准备一个包含文本内容的文件。假设我们有一个名为"example.txt"的文本文件，内容如下：
This is an example file.
It contains some words for demonstration purposes.
The words may appear multiple times.我们可以使用以下命令来创建单词索引：
awk '{
for (i=1; i<=NF; i++) {
word = tolower($i); # 将单词转换为小写
if (word in words) {
words[word]++; # 单词已存在，增加出现次数
} else {
words[word] = 1; # 单词不存在，初始化出现次数为1
}
if (!(word in positions)) {
positions[word] = NR; # 记录单词第一次出现的行号
}
}
}
END {
for (word in words) {
print "单词: " word;
print "出现次数: " words[word];
print "第一次出现的行号: " positions[word];
print "------------------------";
}
}' example.txt执行以上命令后，awk会遍历文件的每一行，并将每个单词转换为小写。然后，它会使用一个关联数组words来记录每个单词的出现次数，使用另一个关联数组positions来记录每个单词第一次出现的行号。
最后，awk会在处理完所有行后，遍历words数组，并打印每个单词的出现次数和第一次出现的行号。
这个单词索引的应用场景包括文本分析、搜索引擎、信息检索等。在腾讯云中，可以使用云原生数据库TDSQL来存储和查询创建的单词索引。TDSQL是一种高性能、高可用的云原生数据库，支持MySQL和PostgreSQL引擎，具有自动备份、容灾、监控等功能。
更多关于腾讯云TDSQL的信息，请访问：腾讯云TDSQL产品介绍
相关·内容
2回答
Python列表:超出范围的索引
python
我一直在尝试创建一个程序，该程序必须在文件中读取，找到唯一的单词和标点符号，将它们放到列表中，然后获取每个单词的位置并将它们存储在列表中。然后，使用列表程序将重新创建文件。这是我的密码：
import time
import re
words = open('words.txt')
sentence = words.read()
uniquewords = []
positions = []
punctuation = re.findall(r"[\w']+|[.,!?;]", sentence)
for word in punctuation:
浏览 1提问于2016-08-30得票数 0
1回答
在C++中读取文本文件并逐行返回单词计数
c++、dictionary、word-count、line-numbers
在我的编程类中，我们开始从C迁移到C++，我们目前的实验室任务是创建一个程序，该程序让文本文件读取其内容，然后返回文件中单词的列表，以及它们出现的行号和该单词在每一行上出现的次数，格式化的word行:Count。
Foo bar bar
Baz
Foo
<EOF>
它应该返回：
Foo 1:1 3:1
Bar 1:2
Baz 2:1
到目前为止，我们所讨论的唯一数据结构是地图，我们用它编写了输出总字数的程序
int main(int argc, const char*argv[]) {
map<string, unsigned int> table;
浏览 3提问于2015-04-14得票数 0
回答已采纳
3回答
如何统计一个目录下所有文件中所有单词的出现次数？但计数在每个文件中每个字仅递增一次
bash、count、directory、command、word
我已经问了一个类似的问题，但人们误解了我的问题。我问的是如何生成每个单词的列表，每个文件中每个单词的单词计数只增加一次。
例如，我有一个包含10个文件的目录，我想使用bash命令生成一个单词列表，它的值为1-10，这取决于它们出现在多少个文件中。
例如：
10 The
10 and
8 bash
7command
6 help....
ect.
我已经知道grep -l word *|wc -l会搜索一个单词，但我想创建一个包含所有单词的列表。
有没有办法把它和tr '[A-Z]' '[a-z]' | tr -d '[:punct:]'结合起来，
浏览 1提问于2014-12-11得票数 1
12回答
如何创建文件中每个单词的频率列表？
bash、file-io、sed、grep
我有一个这样的文件：
This is a file with many words.
Some of the words appear more than once.
Some of the words only appear one time.
我想生成一个由两列组成的列表。第一列显示出现的单词，第二列显示它们出现的频率，例如：
this@1
is@1
a@1
file@1
with@1
many@1
words3
some@2
of@2
the@2
only@1
appear@2
more@1
than@1
one@1
once@1
time@1
为了使这项工作更简单，在处理列表之前，我
浏览 110提问于2012-05-11得票数 45
回答已采纳
3回答
通过变量中的分隔符获取单词索引
bash、shell
给定line、delimiter和word，我希望根据分隔符在行中获取该单词的索引位置。尽可能简单/简短。因此：
line="this-is-a-line_with-some.txt"
delimiter="-"
word="some"
echo <code goes here>
# should come out as 4
当然，我可以用数组将其拆分，并使用for循环打印单词的第一次出现，如下所示：
line="this-is-a-line_with-some.txt"
delimiter="-&#
浏览 0提问于2021-08-29得票数 0
回答已采纳
3回答
合并两个没有伪重复的文件
linux、command-line、awk、sed
我有两个文本文件file1.txt和file2.txt，它们都包含这样的一行文字：fare word word-ed wo-ded wor和
fa-re text uncial woded wor worded或者类似的东西。一句话，我指的是字母a的接连，可能带有口音，还有符号-。我的问题是，如何从linux命令行创建第三个文件output.txt (使用awk、sed等)。在这两个文件中，满足以下三个条件：
如果两个文件中出现相同的单词，则第三个文件output.txt只包含一次。
如果文件中一个字的连字符版本(例如，file2.txt中的fa-re )出现在另一个文件中，那么只有连
浏览 2提问于2015-08-07得票数 3
回答已采纳
1回答
使用awk记录给定文件中每个单词出现的行。
shell、awk、scripting、gawk、scripting-language
做这件事有点问题。输出必须采用以下格式:在每一行上，首先打印一个单词，然后是冒号“：”，然后是空格，然后是单词出现的行号列表(用逗号分隔)。如果一个单词多次出现在一行中，它应该只报告该行的一次。
命令行: index.awk test1.txt > new.output.txt
我的代码(当前)：
#!/bin/awk -f
Begin {lineCount=1} # start line count at 1
{
for (i = 1; i <= NF; i++) # loop thr
浏览 2提问于2014-10-13得票数 2
回答已采纳
1回答
如何创建类的实例并将其存储在数组或数组列表中？(正在处理)
arrays、arraylist、random、processing、text-size
我有这个程序，我需要一个外部文件中的50个随机单词出现，它们中的每个随机移动到一个随机的地方…我已经能够让每个单词彼此独立地移动到一个随机的位置，但问题是只有外部文件中的第一个单词出现了50次，这是唯一出现的单词……不是50个随机单词！只有50个单词都是一样的…所以我试着把int index = int(random(allWords.length));放在draw下，放在for里，但这可能会导致它每秒发生50次，60次，这不是我想要发生的……有人建议，我可能只想在setup()函数中生成一次随机单词，我可以通过创建我创建的class实例并将它们存储在数组或ArrayList中来实现这一点。问
浏览 8提问于2017-07-19得票数 0
回答已采纳
如何计算只以大写开头的单词？
找出所有大写开头的单词(如。任何= 3)
数一数这些词发生了多少次(如。Any=3 + any+4 = Any=7)
参见本演示中的示例代码：
代码示例：
/**
* C program to count occurrences of all words in a file.
*/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <ctype.h>
#define MAX_WORDS 50
char
浏览 1提问于2019-05-15得票数 0
回答已采纳
4回答
使用带有SED行号的列表在某些行中追加单词
text-processing、sed
我有一个文件example.txt，它包含多行：
Larry is funny!
Funny, I've no glue!
Look here!
Tom has no pants.
The underpants are in the drawer.
Pants are in the closet!
创建一个具有4个随机行号的文件之后
sed -n '=' example.txt | shuf | head -3 > line_numbers.txt
假设line_numbers.txt中的行号包含
1
3
6
我想编辑example.txt，在line_numbe
浏览 0提问于2022-01-24得票数 2
回答已采纳
2回答
计算句子单词在文件中重复的次数
python、list、dictionary、file-handling
我想检查一个单词在文件中重复了多少次。我已经看过其他代码在文件中查找单词，但他们不能解决我的problem.From这是说，如果我想找到"Python是我最喜欢的语言“，程序将分割文本将告诉它在文件中重复了多少次。
def search_tand_export():
file = open("mine.txt")
#targetlist = list()
#targetList = [line.rstrip() for line in open("mine.txt")]
contentlis
浏览 0提问于2021-01-08得票数 0
2回答
查找每一个出现少于X次的单词
regex
我试图使用Bash搜索文本文件，并且只报告少于X次出现的单词。我试过这个
cat abcd.txt | tr " " "\n" | sort | uniq -c
但是它报告了所有的单词和它们的数量。另外，它还把标点符号和单词混在一起。例如，如果有一个单词"day“后面跟着"."，它会报告回”day“。
浏览 1提问于2018-07-09得票数 0
回答已采纳
4回答
删除文件中显示少于5次的所有单词。
text-processing、awk
我有一个文本文件，每一行上都有一个字符串，如下所示：
zanzibar
apple
banana
apple
carrot
banana
sausage
apple
apricot
tea
apple
apple
我试着读文件，数每一个单词，删除少于5的单词。出现超过5次的单词只剩下一次。
对于上述情况，新文件应该具有
apple
因为它在文件中出现超过5次。
到目前为止，我尝试的是第一步删除字符串的第一步，这些字符串出现的次数少于5次，但即使这样似乎也不起作用。新文件保持为空。
awk -F'\n' '
FNR==NR{ seen[tolower($1)]++;
浏览 0提问于2022-10-25得票数 1
回答已采纳
4回答
用于从单词的第一个和最后一个匹配项之间获取行并写入文件的unix命令
bash、shell、unix、grep
我想要一个unix命令来查找单词第一次出现和最后一次出现之间的行。
例如：
让我们假设我们有1000行代码。第十行包含单词"stackoverflow"，第三十五行也包含单词"stackoverflow“。
我想打印介于10和35之间的行，并将其写入一个新文件。
浏览 1提问于2013-10-21得票数 7
3回答
将文本文件中的所有值之和，并使用Array_count_values将其存储在php中。
php、arrays、file、text、words
嗯，我是php中的新手，所以我做了一个程序，用来统计特定文本文件中的单词。这是我的文本文件：
Hello Hello Hello Hello
Hello Word array sum
Hello Find
这是我的代码(php：
/*Open file*/
$handle = fopen($_FILES['file']['tmp_name'], 'r');
/*read all lines*/
while (! feof($handle)) {
$line = fgets($handle);
/*using array_count_value
浏览 5提问于2017-02-24得票数 1
回答已采纳
2回答
单词在List - Python中出现的次数是多少次？
python、pandas、counter、word-count
我有一个单词列表。我想出了如何计算每个单词的数量。现在我想知道，在这个列表中出现了多少个单词，多少次(？)。输出应该如下所示：
4.500字一次
6.000字第二次.
示例：
list = ["hello", "time", "burger", "hello", "mouse", "time", "time"]
预期产出：
3 Word occurred 1 time
1 Word orrcured 2 time
1 Word occurred 3 time
我希望我的意图是清楚的。
浏览 7提问于2022-06-21得票数 0
2回答
填充python矩阵
python、arrays、numpy、matrix
我在python中对文本文件中的单词进行拆分。我已经收到了行(c)号和带有索引的字典(word_positions)。然后我创建了一个零矩阵(c，索引)。以下是代码：
from collections import defaultdict
import re
import numpy as np
c=0
f = open('/Users/Half_Pint_Boy/Desktop/sentenses.txt', 'r')
for line in f:
c = c + 1
word_positions = {}
with open('/U
浏览 3提问于2016-07-25得票数 1
回答已采纳
1回答
如何检查每个数组对象在字符串中出现的次数，然后将其保存到单独的数组中？
php、arrays
基本上，我在这里尝试做的是获得一个文本输入(一个段落)，然后将每个单词保存到一个数组中。然后，我想对照原始段落检查数组中的每个单词，看看它出现了多少次。通过这样做，我希望能够检查主题是什么。最初，我开始这是一个开放式的学校项目，但我更感兴趣的是为了我自己的理智，如何做到这一点。这是我的代码(这是在我请求上面的html代码中的文本输入之后)：
$paragraph = $_POST['text'];
$paragraph = str_replace(' ',' ',$paragraph);
$paragraph = str_replace(&#
浏览 0提问于2015-02-04得票数 0
3回答
使用Awk输入大文本文件和输出最常用的单词文本文件？
linux、bash、awk
我不是非常精通Linux，我有一个非常大的文本文件(几场演唱会)，我想找出最常用的单词(比如前50个)和每个单词出现的次数，并将这些数字输出到文本文件中，如下所示：
2500 and
我如何使用Awk做到这一点？(它不一定要使用Awk，但我在Windows7上使用Cygwin，我不确定有什么其他东西可以做这类事情)。
我已经看过这个问题了：
尽管如前所述，我对Linux和管道等不太熟悉，如果有人能解释一下每个命令的作用，我将不胜感激。
浏览 2提问于2016-03-02得票数 0
3回答
对于文本文件中的每个单词，提取周围的5个单词。
python、python-3.x
对于某个单词的每一次出现，我需要显示上下文，在单词出现之前和之后显示大约5个单词。
输入occurs('stranger', 'movie.txt')时内容文本文件中单词“陌生人”的示例输出
到目前为止我的代码是：
def occurs(word, filename):
infile = open(filename,'r')
lines = infile.read().splitlines()
infile.close()
wordsString = ''.join(lines)
wor
浏览 4提问于2017-10-04得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
