问如何使用不同的方案将rdd转换为json？

EN

如何将下面的代码转换为使用DataFrame，df2.write.format('json')编写输出json

1. 我有一个输入列表(例如，只有几个项目)。
2. 想要写一个比输入更复杂/嵌套的json。
3. 我试过用rdd.map
4. 问题:输出包含json中每个对象的撇号。
5. 我不能只是字符串替换，因为数据本身可能包含它。
6. 如果在下面的示例中有更好的方法将该方案转换为带有DataFrame的嵌套json，那么您能说明如何实现吗？因为这可能会解决所有的问题。

以下是我尝试过的：

import json 

rdd = sc.parallelize([(1,2,3),(4,5,6),(7,8,9)])
df = rdd.toDF(["a","b","c"])
rddToJson = df.rdd.map(lambda x: json.dumps({"some_top_level_1": {"mycolumn1": x.a}})) // note that result json is complex and more nested than input
rddToJson.collect()

结果:包含撇号(不能替换，它可以出现在任何值)，如何使用适当的方案和数据，然后df.json.write？

结果：

Out[20]: 
['{"some_top_level_1": {"mycolumn1": 1}}',
 '{"some_top_level_1": {"mycolumn1": 4}}',
 '{"some_top_level_1": {"mycolumn1": 7}}']

我的目标(除非可以用另一种方式完成)是使用df.write.format(' json ')，以便从上面的输入编写嵌套/复杂的json。

PS:我看到了一个有趣的帖子：https://medium.com/@mrpowers/adding-structtype-columns-to-spark-dataframes-b44125409803，但由于我是新手，我不知道如何将我拥有的输入转换成输出所需的嵌套方案。