Sqoop安装

Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。 其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。 这篇文章记录了配置sqoop的步骤。在实验过程中,遇到了一些ERROR,反复百度也没有找到解决方法。最后,把sqoop安装文件夹删除,wget原始文件,重头配置了一遍,一切都OK了。还是“重装”最好用。

一、下载sqoop 1.4.7

如图,下载地址很好找。本文还是用sqoop1。

下载页面下有两个链接,使用sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,包含hadoop支持。不要用sqoop-1.4.7.tar.gz。

二、下载mysql-connector-java

到mysql官网查找mysql-connector/j,下载mysql服务器对应版本5.1.x,platform independent版。

解压之后,拷贝一下两个文件到sqoop安装目录lib.

三、修改配置

添加环境变量

export SQOOP_HOME="/opt/sqoop"
export PATH=$SQOOP_HOME/bin:$PATH

主要配置文件sqoop/config/sqoop-env.sh,设置hadoop路径。

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/hadoop-2.7.3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.3

四、测试

bin/sqoop-list-databases --connect jdbc:mysql://mysql1:3306 --username shell --password 123456

Please set

ACCUMULO_HOME to the root of your Accumulo installation. 18/09/05 09:01:47 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 18/09/05 09:01:47 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 18/09/05 09:01:47 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. information_schema

Alibaba db hadooptrain metastore mysql performance_schema test

测试成功!

五、总结

第一次安装之后出现问题,各种百度,各种试,最后按标准流程做了一遍,测试通过。 总结这种方法,仔细读手册,掌握官方jar下载路径。

NoClassDefFoundError: org/apache/avro/LogicalType

这个问题出现了,没有解决,希望再遇到的同学和我一样,按官方jar下载重装解决。

我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏菩提树下的杨过

jenkins 入门教程(中)

接上回继续,本文以我托管在bitbucket上的一个开源项目spring-boot-rest-framework做为演示,讲解如何创建自动化部署。 一、创建it...

32160
来自专栏黑泽君的专栏

JRE System Library、Referenced Libraries、Web App Libraries的含义

11620
来自专栏IT笔记

SpringBoot开发案例之整合日志管理

有一种力量无人能抵挡,它永不言败生来倔强。有一种理想照亮了迷茫,在那写满荣耀的地方。 ? 00.jpg 概述 参考文档:Logging 这里顺便引用以下部分原文...

53680
来自专栏CSDN技术头条

快速实战 Spring Boot

解释一下:Spring Boot 可以构建一切。Spring Boot 设计之初就是为了最少的配置,最快的速度来启动和运行 Spring 项目。Spring B...

15150
来自专栏世界第一语言是java

微服务架构搭建:Consul+sleuth+zipkin+Feign/Ribbon+SpringConfig+Zuul+Hystrix Dash-Board-Turbine

1.1K50
来自专栏java架构师

storm基础系列之五---------接入数据收集系统flume

1.基本结构介绍   flume是三层架构,agent,collector,storage。每一层都可水平扩展。   其中,agent就是数据采集方;colle...

31590
来自专栏IT笔记

SpringBoot开发案例之整合日志管理

有一种力量无人能抵挡,它永不言败生来倔强。有一种理想照亮了迷茫,在那写满荣耀的地方。

50580
来自专栏james大数据架构

如何将mysql数据导入Hadoop之Sqoop安装

  Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据...

313100
来自专栏Java技术栈

Spring Boot核心配置

启动类 在包根目录下添加启动类,必须包含main方法,再添加Spring Boot启动方法: SpringApplication.run(SampleContr...

35760
来自专栏IT笔记

SpringBoot开发案例之奇技淫巧

程序员都有着一种天生的好奇心,这种好奇心引导着我们的编程生涯。写几行代码,装载到计算机里,让它按照你的思路工作,这是非常有趣的事情。但随着开发的东西越来越多,我...

1.4K100

扫码关注云+社区

领取腾讯云代金券