如何从批处理管道中读取易失性层？
如何从批处理管道中读取易失性层？
提问于 2018-08-29 23:33:08
如何使用批处理管道从易失性层读取数据？
public IntermediateData compileInFn(Pair<Key, Meta> in, LogContext logContext) {
String partitionID = in.getKey().partition().toString();
try {
if (!partitionID.isEmpty()) {
// Retrieve the partition.
Payload payload = retriever.getPayload(in.getKey(), in.getValue(), logContext);
}
}
} catch (Exception e) {
}
return new IntermediateData(in.getKey(), testResults);
}回答 1
Stack Overflow用户
发布于 2018-08-30 04:10:35
实际上，这与从版本化目录中读取没有什么不同。然而，这可能不是您真正想要做的事情。运行DPL编译器的调度批处理管道仅在发布新版本时触发。在易失性层中，无论何时将新数据推送到易失性层，元数据都不一定会被发布(这会触发版本更新)。因此，除非数据提供程序在每次发布到易失性层时实际更新元数据，否则版本可能不会更新，批处理管道也可能不会触发。您可以手动启动批处理管道作业，并将处理类型设置为"reprocess“，这将读取整个目录，但这只会运行编译器一次。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/52081252
复制相关文章
相似问题