sqoop的安装和使用[通俗易懂]

大家好，又见面了，我是全栈君。

关系行数据库与非关系型数据库之间的数据同步 一、在不使用sqoop的情况下 Mysql–>hive 1.利用naivacat（工具）将数据库中的表导出（导出的时候要主要制表符/t） 2.利用WinSCP（工具）上传到linux指定的文件夹下 3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t'” 4.hive -e “load data local inpath ‘t1.txt’ into table t1” (假设表里面有数据，须要truncate table hive表名。在运行4） truncate table t1;( 仅仅删除表数据) 或者hive -e “load data local inpath ‘t1.txt’ overwrite into table t1”; hive–>Mysql 1.hive -e “sql语句;>>name.txt” 导出在home/dev 2.然后在利用WinSCP（工具）下载到本地 二、在使用sqoop的情况下 1.解压sqoop，配置环境变量： 在/etc/profile中加入：(没有root权限是不能改动的，所以仅仅能在sqoop/bin路径下启动) export SQOOP_HOME/bin:PATH 配置完毕后要运行 source etc/profile 2. 解压mysql，将mysql-connector-java-5.1.24-bin.jar放到

3. 列出mysql数据库中的全部数据库命令 ./sqoop list-databases –connect jdbc:mysql://222.99.11.52:33221/ –username dev –password 1234 4. 将关系型数据的表结构拷贝到hive中 ./sqoop create-hive-table –connect jdbc:mysql://222.99.11.52:33221/sampledata –table t1 –username dev –password 1234 –hive-table /hive/warehouse/t1 5.从关系数据库导入文件到hive中 ./sqoop import –connect jdbc:mysql:// 222.206.163.139:33221/sampledata –username dev –password mysql-password –table t1 –hive-import 6.将hive中的表数据导入到mysql中 ./sqoop export –connect jdbc:mysql:// 222.206.163.139:33221/sampledata –username dev –password admin –table uv_info –export-dir /user/hive/warehouse/uv/dt=日期

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/115632.html原文链接：https://javaforall.cn