sqoop增量导入命令出错

文章/答案/技术大牛

发布

1回答

hadoop、sqoop

我正在处理一个sqoop增量导入命令。但是我最终收到了错误消息，我不能理解问题出在哪里。importedtable.name importedtable.day2 Sunny 14 Bobby 1sqoop import --connect jdbc:mysql://127.0.0.1/mydb --table MYTAB --dr

浏览 1提问于2017-03-08得票数 1

2回答

下面是我创建的sqoop作业 sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_cate

浏览 2提问于2016-12-01得票数 0

回答已采纳

1回答

使用sqoop将最近3天的增量数据从oracle加载到hdfs

hadoop、hive、sqoop、hadoop-streaming、sqoop2

如何使用Sqoop将最近3天的增量数据从oracle导入hdfs。目前，我已经使用Shell-Script编写了通用的sqoop命令，用于从多个工厂的多个oracle数据库导入数据。所以有人能帮我写sqoop命令来导入最近3天的数据吗？

浏览 12提问于2018-01-29得票数 0

回答已采纳

2回答

将sqoop增量导入到单元表

hive、sqoop、oozie

我正在尝试对hive表执行sqoop增量导入(lastmodified)。它在sqoop 1.4.5中工作，但在sqoop 1.4.6中不工作。

浏览 3提问于2017-11-13得票数 2

回答已采纳

1回答

hadoop如何处理从RDBMS摄取的行的更改

mysql、hadoop、mapreduce、hdfs、sqoop

我有一个场景，数据每天从MYSQL数据库被摄取到hadoop中的一个过时的文件夹中。每天都会编辑一些行，而且可能还会有一些架构更改。如果我只对最新的数据和模式感兴趣，我们如何在hadoop中处理此问题

浏览 2提问于2013-04-11得票数 1

回答已采纳

1回答

如何使用Sqoop只导入新数据？

hadoop、import、hdfs、rdbms、sqoop

如果我今天再次尝试导入数据，Sqoop将导入数据的1TB+1GB，那么我将合并它。所以是头痛。我只想导入新数据并将其附加到旧数据中。通过这种方式，我将每天将RDBMS数据拖到HDFS中。

浏览 3提问于2015-06-11得票数 2

1回答

如何使用linux脚本自动化Sqoop中从DB到HBase的增量导入

shell、hadoop、hbase、sqoop、sqoop2

使用sqoop作业，我们可以使用HBase对--lastval进行增量加载。但是，我们如何对shell脚本进行同样的处理，以及在自动化脚本时如何获得--lastval呢？

浏览 2提问于2016-09-28得票数 2

回答已采纳

1回答

是否有其他方法使这个(增量的最后一个修改的)与--胞-导入一起工作？

hadoop、hive、sqoop、data-warehouse、pgadmin

我正在尝试为hive中的增量导入创建sqoop作业。创建jdbc:hsqldb:hsql://192.168.225.129:16000/sqoop \ jdbc:postgresql://192.168.148.1:5432/movielens -导入-连接-用户名anm \-表分级-m 8-目标-dir/user/hive//user_-增量修改-字段-终止-by '，‘ 产

浏览 4提问于2019-12-04得票数 0

2回答

使用sqoop在配置单元表中进行索引更新

hadoop、hive、sqoop

Memberid - bigint插入日期-日期我想使用sqoop将这些数据导入HIVE表中。,updatedate timestamp)LOCATION '/user/import/memberimport';sqoop import --connect jdbc:oracle现在，我想用updatedate (今天的最后一个值)的增量更新来更新这个表，这样我就可以使用

浏览 1提问于2016-07-05得票数 1

1回答

使用Epoch时间戳的Sqoop增量加载

sqoop、hadoop2、epoch

使用Sqoop增量工具需要以类似于2016-09-05 06:04:27.0的格式在--last-value中提供上次修改日期。使用以下sqoop命令 at o

浏览 0提问于2019-03-07得票数 0

1回答

通过oozie从sqoop作业的增量导入不会更新sqoop的元存储中的incremental.last.value

hadoop、sqoop、oozie、hortonworks-data-platform

尝试通过创建sqoop job从mysql到hive进行增量导入，它在命令行中工作得很好，但当我尝试使用oozie执行同样的操作时，它不会更新sqoop的metastore中的incremental.last.value

浏览 4提问于2017-04-28得票数 0

2回答

将参数传递给sqoop作业

hadoop、hive、sqoop

我正在处理一个sqoop作业，它将被安排在Oozie中，将每天的数据加载到蜂巢中。我希望将增量加载作为一个参数，作为参数基于日期执行到hive中，该参数将传递给sqoop作业。在研究了很多之后，我无法找到将参数传递给Sqoop作业的方法

浏览 4提问于2015-03-05得票数 6

2回答

保存sqoop增量导入id

bash、sqoop

我在AWS EMR中运行了很多sqoop作业，但有时我需要关闭这个实例。但我不知道sqoop是否提供了一种更容易做到这一点的方法。

浏览 0提问于2016-08-24得票数 0

回答已采纳

1回答

Sqoop增量导入后配置单元表已过期

hive、hdfs、sqoop

我正在尝试使用"--incremental append“对Hive表执行Sqoop增量导入。我执行了一个初始sqoop导入，然后为增量导入创建了一个作业。这两个文件都已成功执行，并且已将新文件添加到HDFS中相同的原始配置单元表目录中，但当我检查我的配置单元表时，导入的观察值不在那里。在sqoop增量导入之前，Hive表是相等的。我有大约45个Hive表，并希望在Sqoop</

浏览 0提问于2018-11-13得票数 1

1回答

从sqoop中的特定项目中的所有表中增量下载数据？

sqoop

单表命令增量下载：--password cloudera --tableemploy -m1 --incremental append --check-column id --last-value 6 我不知道如何增量地下载所有的表数据。

浏览 0提问于2018-04-18得票数 0

1回答

在shell脚本中触发sqoop导入命令时，如何检查数据库是否存在于teradata中？

shell

我试图从shell脚本中触发sqoop导入命令。它正如预期的那样运转良好。如何处理shell脚本中的这种类型的错误，即使Teradata中缺少数据库？

浏览 0提问于2017-06-28得票数 0

3回答

如何使用sqoop作业自动执行sqoop增量导入？

hadoop、sqoop

如何使用sqoop作业自动执行sqoop增量导入？sqoop job --create myjob -- import --connect诸如此类。sqoop exec myjob那么，是否可以使用sqoop作业自动执行sqoop增量<e

浏览 3提问于2017-01-25得票数 2

1回答

如何使用Sqoop自动同步MySQL表和Hive外部表？

mysql、hadoop、hive、sqoop

我试图将数据从MySQL表导入到Hive外部表，并为此使用Sqoop。sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root -P --split-by

浏览 3提问于2017-07-17得票数 1

回答已采纳

1回答

使用sqoop将数据从RDMS导入hadoop时，如何处理重复记录？

hive、sqoop

假设我们使用sqoop中的增量导入将数据从RDMS导入Hadoop，而我们之前在hadoop中导入的一些数据在RDMS中得到了更新，当我们再次使用sqoop增量导入时，我们也获得了Hadoop中已经存在的最近更新的数据，这会导致数据重复，那么在这种情况下使用sqoop导入数据时，我们如何避免数据重复呢？

浏览 1提问于2019-01-23得票数 0

8回答