[1185]hive distcp数据同步

hdfs dfs -du -h /user/hive/warehouse/compass.db/page_activity_chitu_prd/

hadoop distcp /user/hive/warehouse/compass.db/page_activity_merchant_prd/p_data_day=2023-01-03 hdfs://10.88.12.12/user/hive/warehouse/compass.db/page_activity_merchant_prd/

hadoop distcp /user/hive/warehouse/gs_dw_prd.db/ads_quickbi_user_behavior_emp_1d/*  hdfs://10.88.12.12/user/hive/warehouse/test_gs_dw_prd.db/ads_quickbi_user_behavior_emp_1d/

 -- 同步HDFS数据(shell执行)
 hadoop distcp \
 -Dmapred.job.queue.name=queue_name \
 -update \
 -skipcrccheck hdfs://hdfs01/user/hive/warehouse/db_name1.db/table_name \
 /user/hive/warehouse/db_name2.db/table_name

CREATE EXTERNAL TABLE `hive_user_reader`(
`read_src` string COMMENT '阅读来源',
`source_id` string COMMENT '来源ID',
`app_version` string COMMENT '端版本号')
COMMENT '阅读书籍表'
PARTITIONED BY (
`dt` string COMMENT '时间-天',
`log_flag` string COMMENT '日志标记')
STORED AS PARQUET

设置为内表
alter table hive_user_reader set TBLPROPERTIES('EXTERNAL'='false')
 
添加字段
alter table hive_user_reader add columns (字段名 字段类型 comment '字段描述') cascade；
eg：
alter table table_name add columns (now_time varchar(300) comment '当前时间');
 
修改字段
alter table hive_user_reader change id app_version varchar(300);
 
删除app_version列
ALTER TABLE hive_user_reader REPLACE COLUMNS (read_src,source_id)
 
修复分区表
msck repair table bi_hive_db.hive_user_reader

hadoop distcp -Dmapred.job.queue.name=root.bi_qipu.p1 hdfs://namenode02-jj:8020/hive/warehouse/jin_warehouse_dwd.db/hive_user_reader /hive/warehouse/jin_warehouse_dwd.db/hive_user_reader

hadoop distcp -Dmapred.job.queue.name=root.bi_qipu.p1  /hive/warehouse/jin_warehouse_dim.db/hive_user_reader/ /hive/warehouse/jin_warehouse_dwd.db/hive_user_reader/

CREATE or REPLACE VIEW bi_hive_bi_al_v.hive_user_reader_view  COMMENT '用户实体数据' AS
SELECT
*
FROM bi_hive_db.hive_user_reader;