Reduce是通过Python进行的,完成Reduce后sort。
结果,乱序了。
分析发现:Hive按照字符串排序,而不是按照字段的double类型。
进一步分析:Hive从stdin读入一行的时候,无从知晓列类型。只能按照字符串排序。
结论:绝对不要在Reduce后排序。
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!