首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >sqoop2安装 原

sqoop2安装 原

作者头像
尚浩宇
发布2018-08-17 10:14:41
3340
发布2018-08-17 10:14:41
举报
文章被收录于专栏:杂烩杂烩

折腾了一天,最后才发现sqoop2暂时只支持mysql到hdfs或者hdfs到mysql,不支持hive或者hbase,无语啊。不过这里还是记下sqoop2的安装,兴许以后sqoop2加了支持,从这里能够快速记忆起来。

首先下载,这里版本是sqoop1.99.6,解压什么的就不说了。主要是配置,首先是环境变量

export SQOOP_HOME=/home/hadoop/sqoop/sqoop-1.99.6-bin-hadoop200
export PATH = $SQOOP_HOME/bin:$PATH
export CATALINA_BASE=/home/hadoop/sqoop/sqoop-1.99.6-bin-hadoop200/server
export LOGDIR=$SQOOP_HOME/logs/

然后是sqoop-1.99.6-bin-hadoop200/server/conf/sqoop.properties,修改属性org.apache.sqoop.submission.engine.mapreduce.configuration.directory

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop/hadoop-2.6.1/etc/hadoop

然后是sqoop-1.99.6-bin-hadoop200/server/conf/catalina.properties ,修改属性common.loader

common.loader=/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/common/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/common/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/hdfs/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/hdfs/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/mapreduce/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/mapreduce/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/tools/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/yarn/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/yarn/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/httpfs/tomcat/lib/*.jar

然后下载mysql的驱动包,放到server/lib下。

下面是常用命令

./sqoop.sh server start    启动 
./sqoop.sh server stop     停止
./sqoop.sh client          进入客户端
set server --host hadoopMaster --port 12000 --webapp sqoop 设置服务器,注意hadoopMaster为hdfs主机名
show connector --all    查看连接类型
create link --cid 1    创建连接,cid为连接类型id
show link 查看连接
update link -l 1 修改id为1的连接
delete link -l 1 删除id为1的连接
create job -f 1 -t 2 创建从连接1到连接2的job
show job 查看job
update job -jid 1    修改job
delete job -jid 1    删除job
status job -jid 1    看看job状态
stop job -jid    1   停止job

日志在server/logs

1.99.7安装使用教程

http://blog.csdn.net/u012842205/article/details/52344196

http://blog.csdn.net/u012842205/article/details/52346595

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2015/10/08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档