首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hive mapjoin 方案

hive mapjoin 方案

作者头像
大数据工程师-公子
发布2019-03-14 15:59:51
1.2K0
发布2019-03-14 15:59:51
举报

hive mapjoin 方案

hive 显示使用mapjoin

hive> set  hive.auto.convert.join=true;

hive> set  hive.auto.convert.join;
hive.auto.convert.join=true

hive> SELECT 
    -- 可以显示的指定如下这一行mapjoin 关键词。
    /*+mapjoin(b)*/
    a.date,a.page_id,b.page_name,
    count(1) as pv,
    count(distinct gu_id) as uv
    from dw.fct_page_ref a
    left join dw.dim_page b on a.page_id = b.page_id 
    where date = "2017-09-20"
    group by a.date,a.page_id,b.page_name;
执行日志:
Query ID = gongzi_20170922102424_c2e3e956-1c3f-41de-86b6-8531b57a23ab
Total jobs = 1
Execution log at: /tmp/gongzi/gongzi_20170922102424_c2e3e956-1c3f-41de-86b6-8531b57a23ab.log
2017-09-22 10:25:01     Starting to launch local task to process map join;      maximum memory = 1908932608
....
...

MapJoin 使用限制

MapJoin 使用限制,必须是join中从表(子查询)数据比较小。所谓从表,及左外连接的右表,或者右外连接的左表。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017年09月22日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • hive mapjoin 方案
    • hive 显示使用mapjoin
      • MapJoin 使用限制
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档