专栏首页杂烩sqoop2安装 原

sqoop2安装 原

折腾了一天,最后才发现sqoop2暂时只支持mysql到hdfs或者hdfs到mysql,不支持hive或者hbase,无语啊。不过这里还是记下sqoop2的安装,兴许以后sqoop2加了支持,从这里能够快速记忆起来。

首先下载,这里版本是sqoop1.99.6,解压什么的就不说了。主要是配置,首先是环境变量

export SQOOP_HOME=/home/hadoop/sqoop/sqoop-1.99.6-bin-hadoop200
export PATH = $SQOOP_HOME/bin:$PATH
export CATALINA_BASE=/home/hadoop/sqoop/sqoop-1.99.6-bin-hadoop200/server
export LOGDIR=$SQOOP_HOME/logs/

然后是sqoop-1.99.6-bin-hadoop200/server/conf/sqoop.properties,修改属性org.apache.sqoop.submission.engine.mapreduce.configuration.directory

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop/hadoop-2.6.1/etc/hadoop

然后是sqoop-1.99.6-bin-hadoop200/server/conf/catalina.properties ,修改属性common.loader

common.loader=/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/common/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/common/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/hdfs/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/hdfs/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/mapreduce/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/mapreduce/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/tools/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/yarn/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/yarn/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/httpfs/tomcat/lib/*.jar

然后下载mysql的驱动包,放到server/lib下。

下面是常用命令

./sqoop.sh server start    启动 
./sqoop.sh server stop     停止
./sqoop.sh client          进入客户端
set server --host hadoopMaster --port 12000 --webapp sqoop 设置服务器,注意hadoopMaster为hdfs主机名
show connector --all    查看连接类型
create link --cid 1    创建连接,cid为连接类型id
show link 查看连接
update link -l 1 修改id为1的连接
delete link -l 1 删除id为1的连接
create job -f 1 -t 2 创建从连接1到连接2的job
show job 查看job
update job -jid 1    修改job
delete job -jid 1    删除job
status job -jid 1    看看job状态
stop job -jid    1   停止job

日志在server/logs

1.99.7安装使用教程

http://blog.csdn.net/u012842205/article/details/52344196

http://blog.csdn.net/u012842205/article/details/52346595

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • hadoop集群配置之hadoop安装部署 原

    需要先对linux系统做一些优化,编辑/etc/security/limits.conf 

    尚浩宇
  • Eclipse下Hadoop的MapReduce开发之MapReduce编写

        先说下业务需求吧,有个系统日志文件,记录系统的运行信息,其中包含DEBUG、INFO、WARN、ERROR四个级别的日志,现在想要看到所有级别各有多少条...

    尚浩宇
  • hadoop MapReduce编写一个分组统计并排序查询-分组

    说一下需求,有一张销售统计表,记录每个销售员每天的销售情况,现在要统计出某一月的每个销售员的销售情况并且按照销售额从高往低排序(hadoop默认是升序)。

    尚浩宇
  • hadoop 1.x环境搭建

    近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       ...

    猿人谷
  • 搭建hadoop1.2集群

    环境准备 我使用的是vmware workstation,首先安装ubuntu 12.04,安装完成后通过vmware的clone,clone出两个虚机,设置的...

    cloudskyme
  • hadoop2.7集群初始化之后没有DataNode的问题

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    程序员欣宸
  • CentOS 7安装Hadoop 3.0.0

    最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装H...

    庞小明
  • 搭建Hadoop伪分布式环境

    安装SSH: sudo yum install opensh-clients openssh-server 安装完成后,可以使用下面命令进行测试: ssh...

    林清猫耳
  • kill 掉所有正在运行的hadoop jobs

    chaplinthink
  • 在腾讯云CVM上搭建Hadoop集群

    本教程将介绍如何在腾讯云CVM上搭建Hadoop集群。Hadoop中是一个Apache的框架,可以让你通过基本的编程处理跨服务器集群的分布式方式的大型数据集。H...

    林岑影

扫码关注云+社区

领取腾讯云代金券