Hive的排序和Reduce的一个很隐蔽的问题
Hive的排序和Reduce的一个很隐蔽的问题
Linker
发布于 2018-04-13 15:59:25
发布于 2018-04-13 15:59:25
Reduce是通过Python进行的，完成Reduce后sort。
结果，乱序了。
分析发现：Hive按照字符串排序，而不是按照字段的double类型。
进一步分析：Hive从stdin读入一行的时候，无从知晓列类型。只能按照字符串排序。
结论:绝对不要在Reduce后排序。
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读