如何使用S3读取存储在csv.DictReader中的csv？
如何使用S3读取存储在csv.DictReader中的csv？
提问于 2017-02-17 23:05:03
我有获取AWS S3对象的代码。我如何用Python的StreamingBody阅读这个csv.DictReader？
import boto3, csv
session = boto3.session.Session(aws_access_key_id=<>, aws_secret_access_key=<>, region_name=<>)
s3_resource = session.resource('s3')
s3_object = s3_resource.Object(<bucket>, <key>)
streaming_body = s3_object.get()['Body']
#csv.DictReader(???)回答 1
Stack Overflow用户
发布于 2017-02-19 08:26:43
代码应该是这样的：
import boto3
import csv
# get a handle on s3
s3 = boto3.resource(u's3')
# get a handle on the bucket that holds your file
bucket = s3.Bucket(u'bucket-name')
# get a handle on the object you want (i.e. your file)
obj = bucket.Object(key=u'test.csv')
# get the object
response = obj.get()
# read the contents of the file and split it into a list of lines
# for python 2:
lines = response[u'Body'].read().split()
# for python 3 you need to decode the incoming bytes:
lines = response['Body'].read().decode('utf-8').split()
# now iterate over those lines
for row in csv.DictReader(lines):
# here you get a sequence of dicts
# do whatever you want with each line here
print(row)您可以在实际代码中压缩这一点，但我试着一步一步地使用boto3来显示对象层次结构。
根据您的评论编辑有关避免将整个文件读入内存的内容:我还没有遇到这样的要求，所以无法权威性地发言，但是我会尝试包装流，这样我就可以得到一个类似文本文件的迭代器。例如，您可以使用编解码器库将上面的csv解析部分替换为如下所示：
for row in csv.DictReader(codecs.getreader('utf-8')(response[u'Body'])):
print(row)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42312196
复制相关文章
相似问题
腾讯云开发者
