itertools.islice和read函数的区别

文章/答案/技术大牛

发布

2回答

python、memory-management、file-handling、itertools

我正在尝试更好地理解如何以最小的内存使用量处理包含数百万条记录的文件。为了实践，我创建了一个大约650万行的文件，并编写了几个函数，将它拆分为大约7个文件，每个文件有一百万行。在第一个函数中，我使用python文件读取方法来创建逻辑，以便在读取100万行之后创建一个新文件，直到我们遇到写入剩余500K行的最后一个文件。该函数需要永远运行。然后，我创建了另一个函数来使用itertools.islice拆分文件。这只花了不到2秒<em

浏览 26提问于2019-05-19得票数 0

1回答

itertools.islice不是发电机吗？

python、python-itertools

我有一个在发电机和发电机功能上工作的代码。当我尝试用itertools.islice对生成器进行切片时，代码块不会生成任何输出。result:else:结果是，inspect.isgenerator返回False for itertools.islice，这就是破坏代码的原因。inspect.isgeneratorfunction的行为也是一样的。 it

浏览 5提问于2012-10-19得票数 2

回答已采纳

1回答

Python itertools.islice的源代码在哪里？

python、python-itertools

Python itertools.islice的源代码在哪里？itertools.islice(spamreader, rowStart, rowFinish+1)

浏览 0提问于2013-09-27得票数 3

回答已采纳

2回答

对于读限制python中的行

python、python-2.7、loops

with open('inputfile.csv', 'rbU') as ifile: for row in read:插入类似for i in range(0, rownum):的东西不起作用，但我也不知道该把它放在哪里。

浏览 2提问于2014-11-13得票数 0

回答已采纳

2回答

估计量预测无限回路

python、tensorflow、google-cloud-ml

我不明白如何使用TensorFlow Estimator进行一次预测--我的代码会产生一个无穷无尽的循环，不断地预测相同的输入。根据，当input_fn引发StopIteration异常时，预测应该停止： classifier = tf.estimator.Estimator(model_fn=image_classifier, model_dir=output_

浏览 0提问于2017-12-17得票数 6

2回答

read.table函数与read.delim函数的区别

r、read.table

R语言中的read.table()函数和read.delim()函数有什么不同？

浏览 0提问于2012-05-15得票数 9

回答已采纳

3回答

截断python生成器

python、generator

我想知道Pythonic编写生成器表达式的方法，该表达式接受无限生成器n的第一个g元素。目前，我正在这样做：还有更多毕达通的方法来做这事吗？

浏览 0提问于2015-08-04得票数 4

回答已采纳

3回答

如何在到达EOF时停止使用itertools.islice进行迭代

python、python-2.7

我想使用itertools.islice(self.(f, 0, 100, None) 我的问题是，我不知道文件有多长时间，我正在寻找一个条件，以便在文件结束时停止while循环。但我不知道是怎么做到的。class reader: self._f = open('test.dat&#x

浏览 4提问于2015-08-16得票数 4

回答已采纳

2回答

在python中切片，在复制和使用一行后推进n行。

python、list、slice

raw_input('Enter username: ')但这是

浏览 6提问于2014-12-12得票数 1

回答已采纳

2回答

Python3如何为" for“循环声明全局变量

python、python-3.x、global-variables

当不是在函数"def“中时，这段代码没有错误，但是我需要它，因为我正在尝试创建一个tkinter文件对话框，如果您可以帮助告诉我我做错了什么，或者给我一个使用tkinter和"def”的选项，那么一旦选择了文件Value)') for row in <

浏览 3提问于2017-01-17得票数 0

回答已采纳

2回答

Python:如何将“平面”序列转换为元组序列？

python、list、forms、tuples

碰巧我已经在上找到了最快、最通用的方法，但是上面列出的代码对于Python新手来说是不透明的： return itertools.izip(*[itertools.islice(lst, i, None, n) for i in range(n)]) 有人能用英语解释一下这段代码是做什么的吗？星号在这个上下文中是做什么的？谢谢。

浏览 0提问于2011-03-09得票数 0

回答已采纳

1回答

迭代工具，如果ifilter和孤岛函数和生成器

python、python-2.7、python-3.x

我试图理解itertools.ifilter()和itertools.islice()函数的意义，以了解生成器的意义。#return filter(is_even,range(20)) lazy_even = even_ex() first_four = itertools.islice但是函数itertools.ifilter在python3.5中不存在。此外，filter返回一个filter object，而不是p

浏览 3提问于2015-12-05得票数 1

回答已采纳

1回答

_read和fscanf之间的区别

visual-c++、scanf

对于fscanf，它给出了正确的值。test.txt");fscanf(fp,"%lf %lf %lf",&buffer[0],&buffer[1],&buffer[2]);char buffer[50]; _sopen_s( &fh,CStringA(PointFile),_O_RDONLY|_O_BINARY,_SH_DENYNO,0)

浏览 3提问于2013-01-15得票数 0

回答已采纳

1回答

如何分批应用地图操作？

python、python-3.x、data-structures、iteration、list-comprehension

我正在使用一个将对象应用于字符串列表的函数。然而，这需要很长时间才能完成，因为在检查对象的库网站之后，作者说，为了避免内存超载，您需要按块进行应用。加快函数应用程序的最佳方法是什么？我试着像这样把名单分成几块： it = iter(iterable) while item:

浏览 0提问于2019-07-19得票数 1

回答已采纳

2回答

使用Python zip将数据保存在二进制文件的单独列中

python、file-io、binaryfiles

我有以下代码：import numpy as np field_names = ('a','b',&#x

浏览 0提问于2013-06-25得票数 0

回答已采纳

1回答

readr::read_csv()和read_csv()的区别

r、import

我看到一些人使用readr::read_csv()命令而不是read_csv()。readr::read_csv和read_csv有什么区别？谢谢!

浏览 5提问于2022-02-08得票数 0

回答已采纳

5回答

两个列表的最大路径和

python、python-3.x、list、algorithm

我的问题是关于卡塔的代码战争。该函数使用两个带有不同元素的排序列表作为参数。这些列表可能有也可能没有公共项。任务是找到最大路径和。在查找和时，如果有任何公共项，则可以选择将路径更改为另一个列表。new_start1 = 0 s1 = 0 for item in common_items: s1 = sum(itertools.islice(l1, new_start1, l1.i

浏览 4提问于2021-12-04得票数 8

回答已采纳

2回答

阅读fastq的最快方法

python-3.x、bioinformatics、skbio

我正在尝试使用读取fastq格式的文本文件。f = 'Undetermined_S0_L001_I1_001.fastq' seq Wall

浏览 5提问于2016-08-25得票数 3

回答已采纳

5回答

如何循环遍历同一个已打开文件的两个生成器

python、generator、python-itertools

第一个问题：是否更快地将整个文件加载到内存中，然后读取行(方法.read())，或者加载并读取一行(方法.readline())？import intertools inp_atomtype = itertools.islice(inp, 0, 40, 3)inp_atomdata = itertools.islice(inp, 1, 40, 3) for atomtype, atomdata in itertools.zip_longest(inp_atomty

浏览 1提问于2018-09-21得票数 1

回答已采纳

5回答

C中read()和fgets()的区别

c、fgets

使用read()或fgets()读取stdin流有什么区别吗？我只是在读一行，将它保存在buf中，并将A附加到它上面。

浏览 1提问于2011-06-03得票数 11

点击加载更多