专栏首页王小雷7.2 Sqoop2安装

7.2 Sqoop2安装

版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80960556

本节主要内容:

  • Sqoop2环境变量设置
  • Sqoop2配置文件修改
  • Sqoop2数据库初始化与验证
  • 开启Sqoop2
  • 关闭Sqoop2

在此之前已经部署好Hadoop(伪分布式或者完全分布式),并设置了Hadoop环境变量(参考第二章 Linux)。

7.2.1 Sqoop环境变量设置

sudo vim /etc/profile.d/sqoop-2.sh
#!/bin/sh
# Author:wangxiaolei(王小雷)
# Blog: http://blog.csdn.net/dream_an
# Github: https://github.com/wangxiaoleiai
# Date:201807

export SQOOP_HOME=/opt/sqoop2/sqoop-1.99.7-bin-hadoop200
export PATH=$SQOOP_HOME/bin:$PATH
export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2/

2.7.2 Sqoop2配置文件修改

修改conf/sqoop.properties

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/opt/hadoop/hadoop-3.1.0/etc/hadoop/conf/

2.7.3 Sqoop2数据库初始化与验证

Sqoop2数据库初始化

sudo mkdir /var/lib/sqoop2
sudo chown busuanzi:busuanzi /var/lib/sqoop2/
mkdir /var/lib/sqoop2/data
mkdir /var/lib/sqoop2/extra-lib
sqoop2-tool upgrade

验证

sqoop2-tool verify

sqoop2-server start

2.7.4 开启Sqoop2

sqoop2-server start

查看

jps

2.7.5 添加数据库驱动

将数据库驱动放置

cp postgresql-42.2.2.jar /var/lib/sqoop2/extra-lib/

2.7.6 Sqoop2客户端

开启Sqoop2客户端

sqoop2-shell

查看帮助

help

关闭客户端

:x

2.7.7 关闭Sqoop2

sqoop2-server stop

:clap:本节完成

开源、源码获取 https://github.com/wangxiaoleiAI/big-data


分割线以下可忽略

:izakaya_lantern:拓展部分

:izakaya_lantern:Sqoop2-shell在本地terminal打开报错问题 在服务器中正常,远程连接本地打开报错(但是仍然打开成功)。

其实是因为本地terminal主题颜色的问题导致报错,这个问题可以忽略。不影响正常使用。

本地因主题导致颜色报错,但实际是成功的。

服务端无报错。

解决 先执行

export TERM=xterm-color

然后执行

sqoop2-shell

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 12.4 Cassandra数据模型

    Cassandra没有表的连接操作,跟关系型数据库设计相比最好的方式是,反(非)规范化设计,设计为两个表连接后的结果表。

    王小雷
  • 2.2Virtualbox高级应用构建本地大数据集群服务器

    版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.n...

    王小雷
  • 2.antlr4开发

    王小雷
  • Android网络访问Post请求的两种写法

    public String sendPost(String url, String param) { PrintWriter out = null;//网络请求...

    wust小吴
  • 力扣77——组合

    原题url:https://leetcode-cn.com/problems/combinations/

    健程之道
  • 八、VueJs 填坑日记之参数传递及内容页面的开发

    我们在上一篇博文中,渲染出来了一个列表,并在列表中使用了router-link标签,标签内的:to就是链接地址,昨天咱们是<router-link :to="'...

    王二麻子
  • 语音识别 | Java 实现 AI 人工智能技术 - 语音识别功能

    说到语音识别、语音翻译、图像识别、人脸识别等等,现在已经非常非常非常普及了,看过‘最强大脑’的朋友,也应该对‘小度’这个机器人有所了解,战胜国际顶尖的‘大脑’-...

    码神联盟
  • Linux文件系统分层标准(FHS)

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    村雨遥
  • 图片美化增强AI接口调用手册

    POST BODY,接口要求以Post body方式发送,因为要传base64字符串,请求参数过长有400错误的

    用户1208223
  • one or more listener failed to start

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    suveng

扫码关注云+社区

领取腾讯云代金券