使用Python优化搜索两个文本文件并基于第三个输出

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (1)
  • 关注 (0)
  • 查看 (41)

我正在使用python函数的性能问题,我正在使用加载两个5+ GB制表符描述的txt文件,这些文件具有不同值的相同格式,并使用第三个文本文件作为键来确定应保留哪些值用于输出。如果可能的话,我想为速度提升提供一些帮助。

这是代码:

def rchfile():
# there are 24752 text lines per stress period, 520 columns, 476 rows
# there are 52 lines per MODFLOW model row
lst = []
out = []
tcel = 0
end_loop_break = False

# key file that will set which file values to use. If cell address is not present or value of cellid = 1 use
# baseline.csv, otherwise use test_p97 file.
with open('input/nrd_cells.csv') as csvfile:
    reader = csv.reader(csvfile)
    for item in reader:
        lst.append([int(item[0]), int(item[1])])

# two files that are used for data
with open('input/test_baseline.rch', 'r') as b, open('input/test_p97.rch', 'r') as c:
    for x in range(3):  # skip the first 3 lines that are the file header
        b.readline()
        c.readline()

    while True:  # loop until end of file, this should loop here 1,025 times
        if end_loop_break == True: break
        for x in range(2):  # skip the first 2 lines that are the stress period header
            b.readline()
            c.readline()

        for rw in range(1, 477):
            if end_loop_break == True: break

            for cl in range(52):
                # read both files at the same time to get the different data and split the 10 values in the row
                b_row = b.readline().split()
                c_row = c.readline().split()

                if not b_row:
                    end_loop_break == True
                    break

                for x in range(1, 11):
                    # search for the cell address in the key file to find which files datat to keep
                    testval = [i for i, xi in enumerate(lst) if xi[0] == cl * 10 + x + tcel]

                    if not testval:  # cell address not in key file
                        out.append(b_row[x - 1])
                    elif lst[testval[0]][1] == 1:  # cell address value == 1
                        out.append(b_row[x - 1])
                    elif lst[testval[0]][1] == 2:  # cell address value == 2
                        out.append(c_row[x - 1])

                    print(cl * 10 + x + tcel)  # test output for cell location

            tcel += 520

print('success')`

密钥文件如下所示:

37794, 1
37795, 0
37796, 2

从计数的角度来看,每个数据文件大~5GB,复杂,但标准格式如下:

0    0    0    0    0    0    0    0    0    0
1.5  1.5  0    0    0    0    0    0    0    0

这个过程需要很长时间,并希望有人可以帮助加快速度。

提问于
用户回答回答于

我相信你的速度问题来自这条线:

testval = [i for i, xi in enumerate(lst) if xi[0] == cl * 10 + x + tcel]

您正在迭代HUGE输出文件中每个值的整个键列表。不是很好。

它看起来像是cl * 10 + x + tcel你正在寻找的公式lst[n][0]

我建议您使用a dict而不是a list来存储数据lst

lst = {}
for item in reader:
   lst[int(item[0])] = int(item[1])

现在,lst是一个映射,这意味着您可以简单地使用in运算符来检查密钥的存在。这是近乎即时的查找,因为该dict类型是基于散列的,并且对于密钥查找非常有效。

something in lst
# for example
(cl * 10 + x) in lst

你可以通过以下方式获取价值:

lst[something] 
#or
lst[cl * 10 + x]

一点点重构和你的代码应该加快速度。

扫码关注云+社区

领取腾讯云代金券