从CSV数据流python创建字典
我试图在python中从csv数据中创建一个字典，我不想使用传统的拆分(‘，')，然后使用重命名行到我想要的标题，因为我将收到不同的csv文件与不同的信息量，我将不能始终使用该方法的目标行。
标题名称将是一致的，只是它们在一个文件中可能比另一个文件中有更多的标题
相反，我一直在尝试从CSV文件中构造一个列表，然后将第一行压缩到其余行中以创建一个字典，然后我就可以提取出我想要的确切内容。
我可以创建一个列表列表，使用csv.reader或：
class Split(beam.DoFn):
def process(self, element):
rows = element.splitlines()
data = []
for row in rows:
data.append([row])
return data这将返回：
[u'FIRST_NAME,last_name,birthdate,voter_id,phone_number']
[u'hector,ABAD,6/15/1970,11*******,7*********']
[u'm,ABAL,6/16/1949,12********,']
[u'jorge,ABDALA,6/15/1962,21********,3********']
[u'karen,ABELLA,6/18/1988,33********,']尽管当我尝试通过以下方式访问第一行时：
rows = element.splitlines()
data = []
for row in rows:
# f = pattern.findall(row)
data.append([row])
return data[0]它返回：
FIRST_NAME,last_name,birthdate,voter_id,phone_number
hector,ABAD,6/15/1970,11*******,7*********
m,ABAL,6/16/1949,109055849,
jorge,ABDALA,6/15/1962,21********,3********
karen,ABELLA,6/18/1988,33********,我也尝试过fileio阅读器，尽管在我修复了beam_utils错误之后，它显示没有名为'sources‘的模块。
如果有人知道更好的方法，或者可以指出我做错了什么，那就太好了，这也是我的渠道：
with beam.Pipeline(options=pipeline_options) as p:
(p
| 'Read' >> ReadFromText(known_args.input)
| 'Split Values' >> beam.ParDo(Split())
| 'WriteToText' >> beam.io.WriteToText(known_args.output)) 我现在只是从我的google-cloud存储桶中读取，但将来会从pubsub中读取。
我希望内容看起来像这样：
{"FIRST_NAME": "hector", "last_name": "ABAD", "birthdate": "6/15/1970", "voter_id": 11*******, "phone_number": 7*********}
etc.
etc.
etc.回答 2
Stack Overflow用户
发布于 2018-06-27 10:18:46
python beam SDK似乎不能很好地处理csv文件的header元素(除了丢弃它之外)。幸运的是，有人已经创建了这个存储库来处理这个用例：https://github.com/pabloem/beam_utils
它包含一个扩展FileBasedSource (用于创建自定义文件源的CSVFileSource抽象类)的Beam类，以便从具有可变标头的文件创建您的字典。
安装：
pip install beam_utils
from beam_utils.sources import CsvFileSource它的用法如下：
p | 'ReadCsvFile' >> beam.io.Read(CsvFileSource(known_args.input))应该会产生你想要的输出。
编辑:要使包对数据流工作者可用，请创建tar并使用--extra_package标志提供给作业，就像在https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/#local-or-nonpypi中一样
Stack Overflow用户
发布于 2018-06-27 09:22:54
查看python库模块csv.DictReader：https://docs.python.org/2/library/csv.html#csv.DictReader
复制文档中的示例以供快速参考
>>> import csv
>>> with open('names.csv') as csvfile:
... reader = csv.DictReader(csvfile)
... for row in reader:
... print(row['first_name'], row['last_name'])https://stackoverflow.com/questions/51053092
复制相似问题