前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Sqoop在导入的时候导入多张表

Sqoop在导入的时候导入多张表

原创
作者头像
ZHANGHAO
修改于 2018-12-10 03:25:40
修改于 2018-12-10 03:25:40
6.7K10
代码可运行
举报
文章被收录于专栏:张浩的专栏张浩的专栏
运行总次数:0
代码可运行

当我们用Sqoop导入一张表的时候可以用 --table <table-name> 去指定要导入一个表,但是我们要导入多个表的话,用这个--table是不行的。 这时候我们可以用Sqoop的import-all-tables--exclude-tables 进行组合使用,实现我们一次导入多个表的目的。


示例

数据库waimai有7个表。我们要导入其中的ti开头的6个表,那么我们就可以使用import-all-tables--exclude-tables "td_new_old_info" ,来导入我们需要导入的6个表。

使用mysqlshow -u<username> -p<password> [database]可展示数据库下的所有表。

数据库waimai
数据库waimai

sqoop 导入waimai数据库里面的除td_new_old_info以外的表

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制

sqoop import-all-tables   \
--connect "jdbc:mysql://localhost:3306/waimai?zeroDateTimeBehavior=CONVERT_TO_NULL" \
--username "root" \
--password "abc123456" \
--create-hive-table \
--hive-database "waimai" \
--hive-import \
--fields-terminated-by "," \
--num-mappers 1 \
--exclude-tables  "td_new_old_info" \
--outdir "/tmp/sqoop/"

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
1 条评论
热度
最新
感谢分享。
感谢分享。
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
sqoop命令参数参考说明及案例示例
3.全量导入(将数据从mysql导入到hive,hive表不存在,导入时自动创建hive表)
chimchim
2022/11/13
1.4K0
大数据技术之Sqoop
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
硅谷子
2022/03/23
8630
大数据技术之Sqoop
大数据技术之_12_Sqoop学习_Sqoop 简介+Sqoop 原理+Sqoop 安装+Sqoop 的简单使用案例+Sqoop 一些常用命令及参数
  Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。   Sqoop 项目开始于 2009 年,最早是作为 Hadoop 的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop 独立成为一个 Apache 顶级项目。   Sqoop2 的最新版本是 1.99.7。请注意,2 与 1 不兼容,且特征不完整,它并不打算用于生产部署。
黑泽君
2019/03/15
2.7K0
大数据技术之_12_Sqoop学习_Sqoop 简介+Sqoop 原理+Sqoop 安装+Sqoop 的简单使用案例+Sqoop 一些常用命令及参数
大数据技术之Sqoop
Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
卡其
2020/03/04
1K0
利用Sqoop实现Hive的数据与MySQL数据的互导
注意: 在sqoop-1.4.6以前,从MySQL中导出数据到hive表中,不能指定文件格式为parquet,只能先导入到HDFS,在从HDFS上load parquet file
CoderJed
2018/09/13
3K0
Sqoop工具模块之sqoop-import-all-tables
    import-all-tables工具将一组表从RDBMS导入到HDFS。来自每个表的数据存储在HDFS的单独目录中。
云飞扬
2019/03/13
1.5K0
Sqoop 常用操作
Sqoop 的lib中缺少Hive 的jar包,从Hive 中找的缺少的jar包到Sqoop中即可
俺也想起舞
2019/07/24
4850
Sqoop快速入门系列(3) | Sqoop常用命令及参数解析(建议收藏!!!)
  这里给大家列出来了一部分Sqoop操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码。
不温卜火
2020/10/28
2.4K0
Sqoop使用和简介
Sqoop 工具是Hadoop环境下连接关系数据库,和hadoop存储系统的桥梁,支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入,根据每天的数据量而言,sqoop可以全表导入,对于每天产生的数据量不是很大的情形可以全表导入,但是sqoop也提供了增量数据导入的机制。
星哥玩云
2022/06/29
3040
快速学习-Sqoop一些常用命令及参数
这里给大家列出来了一部分Sqoop操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码。
cwl_java
2020/03/19
1.6K0
干货:Sqoop导入导出数据练习
sqoop简介 1,sqoop:sql-to-hadoop, sqoop是连接关系型数据库和hadoop的桥梁: (1),把关系型数据库的数据导入到hadoop与其相关的系统(hbase和hive); (2),把数据从hadoop导出到关系型数据库里。 sqoop是利用mapreudude加快数据的传输速度,批处理的方式进行数据传输。 2,sqoop1&sqoop2 两个版本完全不兼容。版本的划分方式是apache:1.4.x,1.99.x。 sqoop2相对于sqoop1有很大改进:首先引入了
Spark学习技巧
2018/01/31
3.8K0
干货:Sqoop导入导出数据练习
【数据采集与预处理】数据传输工具Sqoop
Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL,Oracle,Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。 Sqoop 项目开始于 2009 年,最早是作为 Hadoop 的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop 独立成为一个 Apache 项目。 Sqoop2 的最新版本是 1.99.7。请注意,2 与 1 不兼容,且特征不完整,它并不打算用于生产部署。
Francek Chen
2025/01/22
1420
【数据采集与预处理】数据传输工具Sqoop
Sqoop-1.4.7-部署与常见案例
该文章是基于 Hadoop2.7.6_01_部署 、 Hive-1.2.1_01_安装部署 进行的
踏歌行
2020/10/15
8790
Sqoop-1.4.7-部署与常见案例
Sqoop快速入门系列(2) | Sqoop数据导入与导出
  在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。
不温卜火
2020/10/28
1.1K0
Sqoop快速入门系列(2) | Sqoop数据导入与导出
Sqoop学习笔记-202103
https://www.cnblogs.com/xiaoliu66007/p/9633505.html
用户8483969
2021/04/09
4810
Sqoop工具模块之sqoop-import 原
    import工具从RDBMS向HDFS导入单独的表。表格中的每一行都表示为HDFS中的单独记录。记录可以存储为文本文件(每行一个记录),或以Avro或SequenceFiles的二进制表示形式存储。
云飞扬
2019/03/13
6K0
Sqoop安装配置及Hive导入
Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。
用户8704998
2021/06/07
1.2K0
快速学习-Sqoop的简单使用案例
在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。
cwl_java
2020/03/19
4330
Sqoop笔记
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
CBeann
2023/12/25
2000
Sqoop笔记
利用Sqoop实现HDFS的数据与MySQL数据的互导
注意: 查询语句必须包含where条件,即使不需要where条件,也需要写上"where $CONDITIONS"来表示没有select语句没有where条件
CoderJed
2018/09/13
1.1K0
相关推荐
sqoop命令参数参考说明及案例示例
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验