python如何有效地组合术语
python如何有效地组合术语
提问于 2013-10-10 23:06:30
我有以下格式的数据：
<abc> <anything2> <anything3>.
<_901> <first> <something1>.
<_905> <second> <something2>.
<_910> <anything> <something3>.
<_901> <second> <something4>.
<_905> <first> <something6>.
<_901> <third> <something5>.
<_905> <third> <something7>.现在，我希望将第二列的第一列和(第一、第二、第三)值对应的所有信息组合在一起，以便以下列形式获得聚合信息：
<abc> <anything2> <anything3>.
<_901> <something1> <something4> <something5>.
<_905> <something6> <something2> <something7>.
<_910> <anything> <something3>.我试图使用python字典来实现这一点。但是因为我有一个2 Tera字节的文件。我的程序内存不足，效率很低。在python中是否有更快的方法来实现这一点。如果是，请有人举例说明好吗？
回答 3
Stack Overflow用户
回答已采纳
发布于 2013-10-11 00:50:59
首先，您可以尝试使用unix工具sort对数据进行排序(它处理非常大的文件非常好)。然后，具有相同第一和第二字段的行将处于连续块中，这样您就可以使用python脚本迭代它们，并以您喜欢的格式输出它们。下面给出了一个示例，用于不希望在第二列中没有第一、第二或第三列的任何数据。
# merger.py
# this python script takes in a file with sorted lines and gives your output
import sys
prevtag = None
data = ['', '', '']
printed = True
for line in sys.stdin:
fields = line.strip().split()
if fields[0] != prevtag:
if not printed:
print prevtag, ' '.join(data)
printed = True
prevtag = fields[0]
data = ['', '', '']
if fields[1] == '<first>':
data[0] = fields[2]
printed = False
if fields[1] == '<second>':
data[1] = fields[2]
printed = False
if fields[1] == '<third>':
data[2] = fields[2]
printed = False
if not printed:
print prevtag, ' '.join(data)现在，您可以将sort的输出输送到这个脚本中，以实现您想要的结果。
sort <inputfile> | python merger.py输入：
<abc> <anything2> <anything3>
<_901> <first> <something1>
<_905> <second> <something2>
<_910> <anything> <something3>
<_901> <second> <something4>
<_905> <first> <something6>
<_901> <third> <something5>
<_905> <third> <something7>输出：
<_901> <something1> <something4> <something5>
<_905> <something6> <something2> <something7>Stack Overflow用户
发布于 2013-10-11 05:15:29
这可能会给你一些想法。我使用了大卫·比兹利( David )在系统程序员的生成器技巧上的演讲中的一些东西。由于您的文件很大，所以我将<something>值存储在单独的文件中。你也许可以把它们附加到清单上；我不确定。每次文件的打开、附加和关闭对我来说都是相当低效的，但我想不出任何其他的东西。
from __future__ import division, print_function
from StringIO import StringIO
import re
import os
import glob
#for generator details see see http://www.dabeaz.com/generators/
def gen_grep_groups(pat, lines):
patc = re.compile(pat)
for line in lines:
match = patc.search(line)
if match:
yield match.groups()
def logme(pairs, ext='.special_list'):
for name, thing in pairs:
#there must be a better way than opening and closing each time
f = open(name + ext,'a')
f.writelines(thing +'\n')
f.close()
data = StringIO("""<abc> <anything2> <anything3>.
<_901> <first> <something1>.
<_905> <second> <something2>.
<_910> <anything> <something3>.
<_901> <second> <something4>.
<_905> <first> <something6>.
<_901> <third> <something5>.
<_905> <third> <something7>.""")
#for a file use data = open(filename)
pat = r'<(.+?)>\s+<(?:first|second|third)>\s+<(.+?)>'
ext = ".special_list"
#patternc = re.compile(pattern)
for f in glob.glob('*'+ ext):
os.remove(f) #remove any existing files
pairs = gen_grep_groups(pat,data)
logme(pairs, ext)
for filename in glob.glob('*'+ ext):
#do what you want in here
name = os.path.splitext(filename)[0]
print(name)
f = open(filename,'r')
print(f.read())
f.close()Stack Overflow用户
发布于 2013-10-11 05:30:51
对于这么大的文件，可以多次读取。
首先，读取这些行，并将键字段与数据所在的行号(或者更好的:文件位置)一起存储：
pos = {}
filepos = file.tell()
for line in file:
sline = line.split()
pos.setdefault(sline[0], []).append(filepos)
filepos.file.tell() # for the next read现在你有了一个像{''：，<_901>：25，87，.}
现在，您可以在dict上迭代并执行以下操作
for key, fileposes in pos.iteritems():
if len(fileposes) == 1:
file.seek(fileposes[0])
print file.readline()
else:
outlinedata = []
for filepos in fileposes:
file.seek(fileposes[0])
line = file.readline()
sline = line.split()
outlinedata.append(sline[2])
print key, " ".join(outlinedata)(但我不确定tell/seek和文件的行文读取和缓冲是否会互相干扰……)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/19307691
复制相关文章
相似问题
腾讯云开发者
