前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >7.2 Sqoop2安装

7.2 Sqoop2安装

作者头像
王小雷
发布2019-05-27 07:41:31
5450
发布2019-05-27 07:41:31
举报
文章被收录于专栏:王小雷王小雷

版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80960556

本节主要内容:

  • Sqoop2环境变量设置
  • Sqoop2配置文件修改
  • Sqoop2数据库初始化与验证
  • 开启Sqoop2
  • 关闭Sqoop2

在此之前已经部署好Hadoop(伪分布式或者完全分布式),并设置了Hadoop环境变量(参考第二章 Linux)。

7.2.1 Sqoop环境变量设置

代码语言:javascript
复制
sudo vim /etc/profile.d/sqoop-2.sh
代码语言:javascript
复制
#!/bin/sh
# Author:wangxiaolei(王小雷)
# Blog: http://blog.csdn.net/dream_an
# Github: https://github.com/wangxiaoleiai
# Date:201807

export SQOOP_HOME=/opt/sqoop2/sqoop-1.99.7-bin-hadoop200
export PATH=$SQOOP_HOME/bin:$PATH
export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2/

2.7.2 Sqoop2配置文件修改

修改conf/sqoop.properties

代码语言:javascript
复制
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/opt/hadoop/hadoop-3.1.0/etc/hadoop/conf/

2.7.3 Sqoop2数据库初始化与验证

Sqoop2数据库初始化

代码语言:javascript
复制
sudo mkdir /var/lib/sqoop2
sudo chown busuanzi:busuanzi /var/lib/sqoop2/
mkdir /var/lib/sqoop2/data
mkdir /var/lib/sqoop2/extra-lib
代码语言:javascript
复制
sqoop2-tool upgrade

验证

代码语言:javascript
复制
sqoop2-tool verify
这里写图片描述
这里写图片描述

sqoop2-server start

2.7.4 开启Sqoop2

代码语言:javascript
复制
sqoop2-server start

查看

代码语言:javascript
复制
jps
这里写图片描述
这里写图片描述

2.7.5 添加数据库驱动

将数据库驱动放置

代码语言:javascript
复制
cp postgresql-42.2.2.jar /var/lib/sqoop2/extra-lib/

2.7.6 Sqoop2客户端

开启Sqoop2客户端

代码语言:javascript
复制
sqoop2-shell

查看帮助

代码语言:javascript
复制
help

关闭客户端

代码语言:javascript
复制
:x

2.7.7 关闭Sqoop2

代码语言:javascript
复制
sqoop2-server stop

:clap:本节完成

开源、源码获取 https://github.com/wangxiaoleiAI/big-data


分割线以下可忽略

:izakaya_lantern:拓展部分

:izakaya_lantern:Sqoop2-shell在本地terminal打开报错问题 在服务器中正常,远程连接本地打开报错(但是仍然打开成功)。

其实是因为本地terminal主题颜色的问题导致报错,这个问题可以忽略。不影响正常使用。

本地因主题导致颜色报错,但实际是成功的。

这里写图片描述
这里写图片描述

服务端无报错。

这里写图片描述
这里写图片描述

解决 先执行

代码语言:javascript
复制
export TERM=xterm-color

然后执行

代码语言:javascript
复制
sqoop2-shell
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018年07月08日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 7.2.1 Sqoop环境变量设置
  • 2.7.2 Sqoop2配置文件修改
  • 2.7.3 Sqoop2数据库初始化与验证
  • 2.7.4 开启Sqoop2
  • 2.7.5 添加数据库驱动
  • 2.7.6 Sqoop2客户端
  • 2.7.7 关闭Sqoop2
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档