我想知道是否有更好的方法来分割日志文本文件,而不是在下面执行shell循环,最好是使用一个shell命令。日志文件如下所示:2016-11-20T16:20:41+00:00 System is up
因此,我们要完成的任务是在给定的时间拆分文件。比方说,我只保留了最后一周的条目,以避免不断增长的综合症。
我使用Flink 1.3.2与来自flink连接器的hbase (flink-hbase_2.11),使用DataSet API。| RowKey | data || 0-someuniqid | data || 2-someuniqid | data || 5-someuniqid | data || 7-someuniqid | da