日常工作中,经常涉及到将本地文件写入hive表,已供查询计算,或将hive表的数据导出为本地文件。
1、第一步:创建hive 表
create table if not exists User.table_user(
user_id int,
act_Time string
) PARTITIONED BY(pt_dt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS textfile;
2、数据传入服务器目录下
可以通过FileZilla 来传输文件
3、创建hdfs目录
hadoop fs -mkdir /user/liming/table
4、将文件put到hdfs
hadoop fs -put -f /data/yewu/new_table.csv /user/liming/table
5、数据写入hive表中
hive -e "load data inpath '/user/liming/table/new_table.csv' overwrite into table User.table_user partition(pt_dt='2019-12-11')"
假设要将表User.table_user中的数据下载到本地目录下,操作如下:
hadoop fs -get /hive/warehouse/User.db/table_user/000000_0 /data/yewu/
**注释:**暂时使用过上面写的这些,待以后有机会再来更新。 如果你们使用过其它的操作方法,欢迎留言补充。谢谢。