专栏首页软件开发-青出于蓝Sqoop导入数据之提供密码别名

Sqoop导入数据之提供密码别名

    最近遇到sqoop密码导入的问题,记录下。Sqoop从关系型数据库导入到hdfs中时,需要关系型数据库的密码,但是密码明文展示不安全,所以在hadoop2.6之后,sqoop使用hadoop的credential使用password-alias。

    用hadoop生成jceks,如下List-1所示,之后在/tmp下生成mysql.password.jceks文件,之后将mysql.password.jceks传到hdfs的/user/sqoop.

List-1

hadoop credential create mydb.password.alias -provider localjceks://file/tmp/mysql.password.jceks
Enter alias password: 
Enter alias password again: 
mydb.password.alias has been successfully created.

    之后sqoop中如何使用呢,如下List-2,使用别名mydb.password.alias,而不是直接使用密码。

List-2

sqoop import \
-Dhadoop.security.credential.provider.path=jceks://hdfs/user/sqoop/mysql.password.jceks \
--connect jdbc:mysql://x.x.x.x:3306/xxx \
--username xxx --password-alias mydb.password.alias \
...

(adsbygoogle = window.adsbygoogle || []).push({});

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Kubernates之ingress方式部署springboot

        我们将这个springboot部署到k8s上,制作镜像就不描述了,k8s的yaml文件如下,之后执行"kubectl  apply  -f  k8s-d...

    克虏伯
  • Docker上安装mysql5.7 原

    注意:前提是你已经安装了docker,我使用的是Docker CE 17,即社区版,版本是17。运行在ubuntu16上面。 

    克虏伯
  • Springboot之FilterRegistrationBean

         Springboot中会使用FilterRegistrationBean来注册Filter,Filter是Servlet规范里面的,属于容器范围,Sp...

    克虏伯
  • 大中型公司如何利用云技术重塑商业模式?

    这是甲骨文的好友给我分享的一篇经济学人杂志的文章,这篇文章写的大型跨国公司如何利用云重塑商业模式,文章例举了很多的案例和思考,目前我们一直在探讨小企业的云如何走...

    人称T客
  • 超简单生成微博微信应用签名

    集成微博或者微信的SDK时,编辑应用信息要求填写应用签名,官方推荐下载一个apk工具。有那么复杂么,直接终端就可以搞定。

    技术小黑屋
  • ASP.NET部分代码示例

    用户1112962
  • 使用消息系统集成和扩展微服务

      服务之间交互的风格有两种:同步和异步。所谓同步交互,服务调用者会发出一个调用请求,并且堵塞等到操作完成得到响应,HTTP协议是一个很好的同步交互案例,通常是...

    物流IT圈
  • 大数据基础系列之spark的监控体系介绍

    目前有好几种监控spark应用程序的工具:web UIs,指标系统和外部监控仪。 一,web界面 1,界面的基本介绍 每一个Spark应用程序都会启动一个spa...

    Spark学习技巧
  • 年度盘点 | 2017年的数据泄露带给我们的经验与教训

    今年,我尽自己所能协助各大企业和组织处理了很多安全事件。就我个人的经验来看,我所观察到的东西跟2016年的情况几乎没有什么区别。其中,以下两个因素会对安全事件产...

    FB客服
  • 宜信架构实践|SDN网络IPv6组播机制支持实时视频业务海量用户扩展

    随着互联网的迅猛发展,诸如视频直播、网络教学等实时业务的广泛应用,多个接收者需要同时从一个或多个源节点接收相同的流媒体数据,网络传输的信息容量大大增加,占用大量...

    宜信技术学院

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动