我们正在创建一个数据流管道,它将获得一个JSON并写入一个parquet文件。我们使用org.apache.beam.sdk.io.parquet包来编写文件。ParquetIO.Sink允许您将PCollection of GenericRecord写入Parquet文件(从这里开始,)。现在我们要知道如何将JsonObject (具有复杂结构)转换为GenericRecord。
我们尝试使用(org.apache.avro.generic.GenericRecordBuilder).生成GenericRecord。我们使用的是来自JsonObject的com.google.gson.Jso