使用python生成器和openstack swift客户端时出现的问题
使用python生成器和openstack swift客户端时出现的问题
提问于 2013-12-07 01:27:00
在使用Openstack Swift客户端库时，我遇到了Python生成器的问题。
手头的问题是，我试图从特定的url (大约7MB)检索一个大的数据字符串，将该字符串分成较小的位，然后发送回一个生成器类，每次迭代都包含该字符串的一个分块位。在测试套件中，这只是一个发送到swift客户端的monkeypatched类进行处理的字符串。
monkeypatched类中的代码如下所示：
def monkeypatch_class(name, bases, namespace):
'''Guido's monkeypatch metaclass.'''
assert len(bases) == 1, "Exactly one base class required"
base = bases[0]
for name, value in namespace.iteritems():
if name != "__metaclass__":
setattr(base, name, value)
return base在测试套件中：
from swiftclient import client
import StringIO
import utils
class Connection(client.Connection):
__metaclass__ = monkeypatch_class
def get_object(self, path, obj, resp_chunk_size=None, ...):
contents = None
headers = {}
# retrieve content from path and store it in 'contents'
...
if resp_chunk_size is not None:
# stream the string into chunks
def _object_body():
stream = StringIO.StringIO(contents)
buf = stream.read(resp_chunk_size)
while buf:
yield buf
buf = stream.read(resp_chunk_size)
contents = _object_body()
return headers, contents在返回生成器对象后，它被存储类中的流函数调用：
class SwiftStorage(Storage):
def get_content(self, path, chunk_size=None):
path = self._init_path(path)
try:
_, obj = self._connection.get_object(
self._container,
path,
resp_chunk_size=chunk_size)
return obj
except Exception:
raise IOError("Could not get content: {}".format(path))
def stream_read(self, path):
try:
return self.get_content(path, chunk_size=self.buffer_size)
except Exception:
raise OSError(
"Could not read content from stream: {}".format(path))最后，在我的测试套件中：
def test_stream(self):
filename = self.gen_random_string()
# test 7MB
content = self.gen_random_string(7 * 1024 * 1024)
self._storage.stream_write(filename, io)
io.close()
# test read / write
data = ''
for buf in self._storage.stream_read(filename):
data += buf
self.assertEqual(content,
data,
"stream read failed. output: {}".format(data))输出结果如下：
======================================================================
FAIL: test_stream (test_swift_storage.TestSwiftStorage)
----------------------------------------------------------------------
Traceback (most recent call last):
File "/home/bacongobbler/git/github.com/bacongobbler/docker-registry/test/test_local_storage.py", line 46, in test_stream
"stream read failed. output: {}".format(data))
AssertionError: stream read failed. output: <generator object _object_body at 0x2a6bd20>我尝试用一个简单的python脚本来隔离它，该脚本遵循与上面的代码相同的流程，没有出现任何问题：
def gen_num():
def _object_body():
for i in range(10000000):
yield i
return _object_body()
def get_num():
return gen_num()
def stream_read():
return get_num()
def main():
num = 0
for i in stream_read():
num += i
print num
if __name__ == '__main__':
main()非常感谢在这个问题上的任何帮助:)
回答 1
Stack Overflow用户
回答已采纳
发布于 2013-12-17 00:50:08
在get_object方法中，将_object_body()的返回值赋给contents变量。但是，该变量也是保存实际数据的变量，并且在_object_body中早期使用它。
问题是_object_body是一个生成器函数(它使用yield)。因此，当您调用它时，它会生成一个生成器对象，但是直到您迭代该生成器之后，函数的代码才会开始运行。这意味着当函数的代码实际开始运行时(_test_stream中的for循环)，在重新分配contents = _object_body()之后很长一段时间。
因此，您的stream = StringIO(contents)将创建一个StringIO对象，其中包含生成器对象(因此会出现错误消息)，而不是数据。
下面是一个说明问题的最小再现案例：
def foo():
contents = "Hello!"
def bar():
print contents
yield 1
# Only create the generator. This line runs none of the code in bar.
contents = bar()
print "About to start running..."
for i in contents:
# Now we run the code in bar, but contents is now bound to
# the generator object. So this doesn't print "Hello!"
pass页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/20429971
复制相关文章
相似问题