如何在google /数据流中为KV<Boolean、Map<String、Object>>指定编码器
我有一个在json文件中描述的表，在此基础上，我希望稍后将集合创建为sideInput。
PCollection<KV<Boolean, Map<String, Object>>> pC = p_jsonstring
.apply("create ...", MapElements.via( (String input) -> {
try {
ObjectMapper mapper = new ObjectMapper();
Map<String, Object> mytable =
mapper.readValue(input, new TypeReference<Map<String, Object>>(){});
Boolean key = (Boolean) mytable.get("mykey");
return KV.of(key, mytable);
} catch (IOException e) {
e.printStackTrace();
return null;
}
}).withOutputType(new TypeDescriptor<KV<Boolean, Map<String, Object>>>() {}));在运行它时，我有以下错误消息：
严重:无法返回创建KV./Map.out PCollection的默认编码器。纠正以下原因之一:没有手动指定Coder；您可以使用.setCoder()这样做。从CoderRegistry推断编码器失败:无法为org.apache.beam.sdk.values.KV>提供默认编码器。纠正以下原因之一:使用已注册的CoderFactory生成编码器失败:无法为参数化类型org.apache.beam.sdk.values.KV>提供编码器:无法为java.util.Map提供默认编码器。纠正以下原因之一:使用已注册的CoderFactory生成编码器失败:无法为参数化类型java.util.Map提供编码器:无法为java.lang.Object提供默认编码器。纠正以下原因之一:使用已注册的CoderFactory构建编码器失败:无法根据java.lang.Object类的值提供编码器:未为该类注册CoderFactory。从@DefaultCoder注释构建Coder失败:类java.lang.Object没有@DefaultCoder注释。
我认为这个问题主要与Map<String, Object>中的json有关，但在我的示例中，映射值仅在运行时从文件中读取json字符串时才确定。对象类型可以是字符串、数字或布尔值。
有什么建议吗？
回答 1
Stack Overflow用户
发布于 2018-11-06 15:39:16
我认为这个固定的TypeDescriptors.kvs应该作为输出类型在这里工作，并且您可以考虑将输入字符串作为一个字符串保存在Map值中，并在实际要处理对象时反序列化。如果只想在这里反序列化，请考虑为反序列化对象创建一个模式，并使用Row作为您的值类。你可以从该架构生成一个编码器
https://stackoverflow.com/questions/44621913
复制相似问题
腾讯云开发者
