我对databricks和sql是新手,我想在那里添加一些数据。
我在azure databricks中使用python notebook。我已经创建了一个非常大的空增量表。此处的列:
Id| A| B| C| D| E| F| G| H| I| J| K (A,B,C....是列名)
我将解析日志文件,因为它们将出现在blob中,并创建数据帧。数据帧可能是这样的。DF1 A| B| C| D| (A,B,C....是列名) DF2 A| B| D| E| (A,B,C....是列名) DF3 A| B| D| F| (A,B,C...是列名)
我想在增量表中插入所有这些数据帧。此外,我还需要添加Id(log_file_id)。有没有办法以这种方式将数据插入到表中?
发布于 2021-06-08 06:21:13
创建一个包含所有列的空数据帧,比如X。然后,您可以将所有其他数据帧连接到X中。然后直接保存X。
https://stackoverflow.com/questions/67871278
复制相似问题