sqoop之旅1-初识与安装
Sqoop学习之旅1-初识与安装
简介
sqoop是Apache旗下一款Hadoop和关系型数据服务器之间传送数据的的工具，其核心功能主要是两点：
- 导入和迁入
- 导出和迁出
导入数据：将mysql、oracle等数据库中的数据导入到Hadoop的HDFS、HIVE、HBASE等数据存储系统中
导出数据：从Hadoop的文件系统收纳柜到处数据到关系性数据库中
Sqoop本质上就是一个工具
Sqoop | Hive |
|---|---|
迁移数据 | 执行计算 |
把sqoop的迁移命令转换成MR程序 | 将SQL语句转换成MR程序 |
下载和安装
下载sqoop
安装和配置环境变量
- 解压安装包
>> tar zxf sqoop-1.4.7-bin__hadoop-2.6.0
# 进入安装目录
>> pwd
# /Users/piqianchao/Downloads/sqoop-1.4.7- 添加环境变量
sudo vim /etc/profile # 一定要用sudo
export SQOOP_HOME=/Users/piqianchao/Downloads/sqoop-1.4.7 # 添加
export PATH=$SQOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH # 添加到最开始部分- 配置生效
source /etc/profile
sqoop verion # 检验版本安装jar包
从网上下载相应的jar包，将其拷贝到sqoop的lib目录下
tar -zxf mysql-connector-java-5.1.48.tar.gz
cp mysql-connector-java-5.1.48-bin.jar /Users/piqianchao/Downloads/sqoop-1.4.7/lib本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019-11-18，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读