我想使用sqoop导入作业将数据sqoop到配置单元列分区表中。我们该怎么做呢？

文章/答案/技术大牛

发布

1回答

hadoop、hive、hdfs、sqoop、partitioning

我有一个按country列分区的hive表。fields-terminated-by ',' --hive-import 配置单元分区表sqoop后，输出文件中包含的数据格式如下： 1,Richard,Hernandez,XXXXXXXXX,XXXXXXXXX,6303 Heat

浏览 5提问于2017-08-26得票数 0

1回答

如何sqoop导入将新数据追加到分区的hive表中，从而在相同的分区列上创建新的分区文件夹？下面是我的场景

hadoop、hive、hdfs、sqoop、partition

我在hive中的date列上有一个分区表，可以第一次将数据sqoop导入到hive分区表中。当我执行此操作时，它会正确创建所有日期文件夹，并将数据加载到配置单元表的hdfs位置中的每个文件夹中。现在，当我想要sqoop导入新数据并将其再次附加到具有新的更新日期的同一配

浏览 45提问于2017-08-30得票数 0

2回答

错误无法识别的参数--hive-partition key

hadoop、import、hive、sqoop

当我运行以下语句时，我得到了错误Unrecognized argument --hive-partition-key：--connect 'jdbc:sqlserver:/

浏览 2提问于2015-07-27得票数 2

3回答

如何轻松地将RDBMS数据导入配置单元分区表

hive、sqoop

我的RDBMS中有表。现在，我选择了该表的第3列作为我的HIVE表的分区列。现在，我如何轻松地将我的RDBMS表的数据导入HIVE表(考虑分区列)？

浏览 0提问于2015-03-13得票数 0

1回答

HDP MapReduce作业并发

mapreduce、hadoop-yarn、sqoop、ambari、hdp

我正在尝试使用sqoop将数据从Oracle导入到内部配置单元。我的sqoop查询运行得很好，但是当我试图在一个脚本中同时运行多个sqoop查询时，只有一个MapReduce作业在运行，而其他作业都在YARN上等待接受的队列。我尝试用sqoop导入的表大约有5亿行和100<e

浏览 23提问于2020-07-12得票数 0

1回答

在使用Sqoop导入时在Hive表中处理分区

hive、sqoop

我有一个关于sqoop导入实用程序的问题。我知道我们可以运行一个"sqoop导入“，并从一个RDBMS (在我的例子中是Server )中获取数据，并将其直接放到一个hive表中(将动态创建)。我的问题是，如果有必要，如何使用"sqoop导入“实用程序在这个单元</

浏览 0提问于2018-11-26得票数 1

回答已采纳

2回答

如何使用create- Hive -table在配置单元中创建表时使用自定义分隔符

mysql、hadoop、hive、sqoop

我正在尝试将数据从RDBMS表导入HDFS。然后，我使用create- hive -table将模式复制到配置单元，然后将数据加载到该配置单元表。用于导入到HDFS的命令 sqoop import --connect jdbc:mysql://localh

浏览 5提问于2016-01-27得票数 1

1回答

如何使用Sqoop将Datetime列从SQL Server导入Hive

hive、timestamp、sqoop

我正在尝试使用Sqoop将数据从SQL Server导入Hive。当我导入日期时间列时，它会忽略如下所示的值。SQL Server - 2021-02-10 10:30:00.000配置单元- 2021-02-10 10:30:00.0 Sqoop忽略最后一个点之后的所有零，只保留一个零。但是如果我们有实际值，那么sqoop正确地导入实际值，如下

浏览 5提问于2021-02-10得票数 1

3回答

如何使用sqoop* import将RDBMS数据导入到特定的配置单元数据库*

mysql、database、import、hive、sqoop

我需要使用sqoop将外部数据库从mysql导入配置单元。我的需求是使用sqoop import将包含所有表的完整数据库导入到指定的配置单元数据库。例如，我想导入mysql数据库'hadoop_

浏览 1提问于2015-01-15得票数 0

2回答

Sqoop中两个命令的区别

hive、sqoop

请告诉我下面的两个命令有什么区别 --username root --passwordpassword sqoop create-hive-table--connect jdbc:mysql://localhost:3306

浏览 1提问于2015-07-26得票数 0

3回答

如何使用Sqoop从Oracle导入列类型SDO_GEOMETRY？

hadoop、hive、hdfs、sqoop、bigdata

问题需要帮助将具有SDO_GEOMETRY数据类型的列形状从Oracle导入到Hdfs。我有1

浏览 6提问于2017-04-07得票数 1

1回答

sqoop作业仓库目录已存在

sqoop

sqoop作业：job --meta-connect jdbc:hsqldb:hsql://ip:16000/sqoop --exec JOB_NAME-- --warehouse-di

浏览 0提问于2018-04-18得票数 0

3回答

使用Sqoop从MySQL导入到Hive

mysql、hadoop、hive、sqoop、hiveql

我必须通过Sqoop从MySQL表(具有复合主键)导入>4亿行到分区的Hive表单元中。该表有两年的数据，列出发日期为20120605至20140605，一天有数千项记录。我需要根据出发日期来划分数据。版本如下：Apache Hive - 0.9.0据我所知，有三种方法：

浏览 3提问于2013-06-27得票数 1

1回答

如何从Oracle Sqoop导入压缩分区Hive表

split、compression、sqoop、orc

如何在压缩表中Sqoop导入Oracle到Hive 尝试将Sqoop从Oracle导入到文本分区表中的Hive，并成功。当尝试在压缩(SNAPPY、ZLIB、BZIP2)表中执行相同的操作时，同时使用Sqoop和相应的编解码器压缩数据时，它会创建文件。但在尝试通过配置单元进行选择时，我收到错误

浏览 31提问于2019-05-21得票数 0

3回答

如何使用sqoop在Hive中创建外部表。需要建议

hadoop、hive、sqoop

使用sqoop，我可以创建托管表，但不能创建外部表。1.对仓库中的表进行分区。有些是按日期分区的，有些是按状态分区的。请将您的想法或实践应用到生产环境中。

浏览 5提问于2015-01-17得票数 2

回答已采纳

3回答

Sqoop配置单元表导入，表dataType与数据库不匹配

hadoop、hive、hdfs、sqoop

使用Sqoop将数据从oracle导入到hive，它工作得很好，但它在hive中创建表只有2个dataTypes字符串和Double。我想使用timeStamp作为某些列的数据类型。我该怎么做呢。bin/sqoop import --table TEST_TABLE --connec

浏览 1提问于2014-01-24得票数 7

1回答

sqoop-配置单元导入添加额外的列

oracle、import、hive、sqoop

我已经成功地将数据从sqoop导入到hive。我已经在Oracle中添加了一个列，并使用sqoop-import再次将该特定列导入到hive。但是，它被附加到第一列数据和具有null的其余列，并且配置单元中没有新的列。任何

浏览 0提问于2016-07-15得票数 0

2回答

Sqoop将数据导入到配置单元和hdfs

mysql、hive、hdfs、sqoop、hortonworks-data-platform

我们可以使用sqoop将数据导入到hdfs和配置单元中吗？hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' --target-dir test_hive_admin/2 它返回：这两种方法都成功地将数据导入到<

浏览 24提问于2019-02-19得票数 2

回答已采纳

4回答

使用sqoop将文件导入到蜂巢时存在错误

import、hive、sqoop

我正在尝试将retail_db数据库表复制到我已经创建的hive数据库中。当我执行以下代码时--num-mappers 1 \--hive-overwrite \--outdir java_files \ --hive-database

浏览 16提问于2016-07-29得票数 3

回答已采纳

1回答

错误[main]枚举:导入失败:没有枚举常量org.apache.hadoop.mapreduce.JobCounter.MB_MILLIS_MAPS

mysql、mapreduce、sqoop、hadoop2

我使用的是Hadoop 2.7.1版本sqoop 1.4.6和java 1.8。所有的守护进程都运行正常。当我使用sqoop import时，我得到下面的错误。你能告诉我错误是从哪里发生的吗，以及如何解决这个错误。提前谢谢。table shipper --m 1 --target-dir /file Warning: /usr/local/sqoop/..Warning: /usr/

浏览 27提问于2017-02-07得票数 0

点击加载更多