我们可以在U-SQL中将数据追加到现有文件中吗?我已经在U-SQL中创建了一个CSV文件作为输出。我正在编写另一个U-SQL查询,并希望将该查询的输出附加到现有文件中。有可能吗?
发布于 2016-12-02 21:30:48
它不受支持,并且与健壮的、分布式的、幂等的大数据系统的设计背道而驰(尽管您可以通过将以前的输出读取为行集并执行UNION ALL来实现该行为)。
处理这个问题的最好方法是正确使用分区,例如,为每次执行创建一个或多个新分区:https://msdn.microsoft.com/en-us/library/azure/mt621324.aspx
https://stackoverflow.com/questions/40929858
复制相似问题