Hive使用的一些经验小结：
- hive的建表是有分隔符这一说的，但是如果你的文件比较特殊，可能攘括了各式各样的符号，选择一个或者多分隔符就可能会有问题了。这时候，为了保证数据不被修改，可以考虑ORC file这一个数据格式。具体的介绍如下：https://orc.apache.org/
- 如果在应用中大量使用了transform这种数据交互方式，建议使用set timeout=0这种形式，防止应用程序尚未处理完数据，但是map等待的时间到了，误以为这个map失败了重启，kill掉重启。
- Hive在服务器性能不够好时，可能需要经常修改参数调整heap的量级，防止内存溢出，控制在80%左右比较合理，不建议自己主动调整map和reduce个数，因为mapReduce启动是一个很繁重的过程。
- hive在文件加载时，不要直接插入文件夹，这样的话，如果文件格式没有选择好，极有可能出现各种莫名的bug。
- 另外，一个很重要的一点，sql语句一定要注意写上转义符号。
- null在hive底层默认是用'\N'来存储的，transform里面\n分割
- 尽量使用子查询，少用笛卡尔积，内部格式建议用字符串，数值就用数值，否则大小比较会出问题
- double在hive是浮点型带.号，虽然看起来是整数。
- set hive.map.aggr=true这是group by的优化，但是优化效果没有那么明显
- Count Distinct请先查出distinct之后再count
- 在需要表统计信息时，可以考虑hive的元数据库。
- set hive.stats.autogather =true; set hive.stats.column.autogather = true;可以实现一般的统计信息整理。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2017-07-11，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读