前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hive使用HDFS目录数据创建Hive表分区

Hive使用HDFS目录数据创建Hive表分区

作者头像
星哥玩云
发布2022-07-03 17:13:17
1K0
发布2022-07-03 17:13:17
举报
文章被收录于专栏:开源部署开源部署

描述:

Hive表pms.cross_sale_path建立以日期作为分区,将hdfs目录/user/pms/workspace/ouyangyewei/testUsertrack/job1Output/crossSale上的数据,写入该表的$yesterday分区上

表结构:

hive -e "  set mapred.job.queue.name=pms;  drop table if exists pms.cross_sale_path;  create external table pms.cross_sale_path  (  track_id string,  track_time string,  session_id string,  gu_id string,  end_user_id string,  page_category_id bigint,  algorithm_id int,  is_add_cart int,  rcmd_product_id bigint,  product_id bigint,  category_id bigint,  path_id string,  path_type int,  path_length int,  path_list string,  order_code string  )  PARTITIONED BY (ds string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  LINES TERMINATED BY '\n'  STORED AS TEXTFILE;" 

写法:

yesterday=`date -d -1days +%Y-%m-%d`  hive -e "load data inpath '/user/pms/workspace/ouyangyewei/testUsertrack/job1Output/crossSale' into table pms.cross_sale_path partition(ds='$yesterday');" 

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NAT 网关
NAT 网关(NAT Gateway)提供 IP 地址转换服务,为腾讯云内资源提供高性能的 Internet 访问服务。通过 NAT 网关,在腾讯云上的资源可以更安全的访问 Internet,保护私有网络信息不直接暴露公网;您也可以通过 NAT 网关实现海量的公网访问,最大支持1000万以上的并发连接数;NAT 网关还支持 IP 级流量管控,可实时查看流量数据,帮助您快速定位异常流量,排查网络故障。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档