如何使用sqoop工具执行增量加载

文章/答案/技术大牛

发布

0回答

hive、teradata、sqoop

我已经使用sqoop-import命令将teradata表数据sqooped到Hive中。有没有人能建议我一些解决方案来实现这一点…

浏览 3提问于2017-06-01得票数 0

回答已采纳

3回答

如何使用sqoop作业自动执行sqoop增量导入？

hadoop、sqoop

如何使用sqoop作业自动执行sqoop增量导入？sqoop job --create myjob -- import --connect诸如此类。sqoop exec myjob那么，是否可以使用<e

浏览 3提问于2017-01-25得票数 2

2回答

Sqoop中的增量载荷

hadoop、hive、teradata、sqoop

我正在尝试使用Sqoop，但是应该如何使用Sqoop进行增量加载呢？在这种情况下，我如何对Hive进行增量导入？请建议

浏览 2提问于2015-02-20得票数 0

回答已采纳

2回答

将参数传递给sqoop作业

hadoop、hive、sqoop

我正在处理一个sqoop作业，它将被安排在Oozie中，将每天的数据加载到蜂巢中。我希望将增量加载作为一个参数，作为参数基于日期执行到hive中，该参数将传递给sqoop作业。在研究了很多之后，我无法找到将参数传递给Sqoop作业的方法

浏览 4提问于2015-03-05得票数 6

4回答

Delta/增量负荷

hadoop、hive、sqoop、hiveql

我们使用sqoop将数据输入到HDFS中，并加载到按年份、月份划分的hive表中。->我知道有一个sqoop功能，它允许增量导入。但是，只有新的增量进口对我们来说是不够的。因为- -> I不能直接在hive表中插入这些记录(使

浏览 5提问于2014-06-12得票数 8

1回答

我正在尝试使用"--incremental append“对Hive表执行Sqoop增量导入。我执行了一个初始sqoop导入，然后为增量导入创建了一个作业。这两个文件都已成功执行，并且已将新文件添加到HDFS中相同的原始配置单元表目录中，但当我检查我的配置单元表时，导入的观察值不在那里。在sqoop增量导入之前，Hive表是相等的。我该如何解决这个问题呢？我有大约45个Hive表，并希望

浏览 0提问于2018-11-13得票数 1

2回答

使用自由格式查询的Sqoop作业增量导入

hadoop、hdfs、sqoop

我正在尝试使用自由形式查询进行sqoop作业的增量导入。下面是正在使用的查询 sqoop job --create importjobinl -- import --connect jdbc:mysql://localhost/test --username当我使用mysql intest而不是--query时，它是有效的，但是我希望使用--query使用unix_timestamp将日期转换为纪元时间，因为mysql表i

浏览 1提问于2015-09-06得票数 0

2回答

Oracle表增量导入到HDFS

hadoop、hive、hdfs、sqoop

我有520 GB的Oracle表，在这个表上执行插入、更新和删除操作。frequently.This表在ID列上分区，但是没有定义主键，也没有可用的时间戳列。您能告诉我在这个表上执行HDFS增量导入的最佳方式是什么吗？

浏览 0提问于2018-04-23得票数 0

2回答

从RDBMS到Hadoop的批量导入

hadoop、rdbms、sqoop

建议使用Sqoop吗？如果不是，那么应该使用什么方法或工具来执行这种批量加载

浏览 1提问于2014-06-23得票数 0

1回答

使用Sqoop并行导入Oracle表的最佳方式是什么？

python、shell、hadoop、sqoop、sqoop2

我正在使用Sqoop将oracle表导入到HDFS中。我有大约50个表要导入，50个表中有10-15个表太大(大约50 15)。这是我第一次想要将它们作为一个完整的负载导入，之后我将只导入增量数据。目前我已经准备了2个shell脚本，如下所示：- 1.完全转储的脚本(它每天都需要完全转储) 2.增量数据的脚本(因为我已经完全转储了，现在它只会获取增量数据)。我把这两个脚本安排在一个特定的时间，比如早上7点这两个脚本都运行得很好，但如您所见，它只能并行执行两个sqoop</em

浏览 19提问于2019-04-29得票数 0

1回答

如何使用Sqoop自动同步MySQL表和Hive外部表？

mysql、hadoop、hive、sqoop

我试图将数据从MySQL表导入到Hive外部表，并为此使用Sqoop。sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root -P --split-by或者如何做到这一点？任何帮助都是值得感激的。

浏览 3提问于2017-07-17得票数 1

回答已采纳

1回答

使用Epoch时间戳的Sqoop增量加载

sqoop、hadoop2、epoch

使用Sqoop增量工具需要以类似于2016-09-05 06:04:27.0的格式在--last-value中提供上次修改日期。使用以下sqoop命令 sqoop import --verbose --connect jdbc:mysql://192.18.2.5:3306/iprocure_ip --table depot -org.apache.sqoop.tool.ImportTool.run(ImportTool.

浏览 0提问于2019-03-07得票数 0

1回答

增量的sqoop到HIVE表

hadoop、hive、sqoop

众所周知--增量的SQOOP导入开关不适用于通过sqoop进行的HIVE导入。但解决这个问题的方法是什么呢？1)我可以做的一件事是，我们可以创建一个HIVE表，并通过SQOOP将增量数据带到HDFS中，然后手动加载它们。但是，如果我们这样做，每次这样做，数据就会被覆盖。如果我错了，请纠正我。2)当对数据进行分区时，查询的有效性如何？谢谢

浏览 2提问于2017-12-14得票数 0

回答已采纳

1回答

在sqoop中执行增量“全有或全无”导入的正确方法是什么？

sqoop

根据的说法，为了对RDMS执行“全有或全无”加载，可以使用临时表。但是，此选项似乎仅在导出中可用。在执行(从SQLServer)到HDFS的导入时，选项--staging-table不存在。默认情况下，Sqoop导入使用read committed事务隔离策略。如果其中一个导入映射器失败了怎么办？如果我正在执行的导入是增量导入，sqoop是否会执行整个操作的“回滚”，从而不导入任何数据？我们已经实现了一个工作流，该

浏览 0提问于2016-06-17得票数 1

1回答

如何在每天的基础上将增量记录从Oracle加载到HDFS，我们可以使用Sqoop或先生乔布斯吗？哪一种是首选方法？

hadoop、hive、hdfs、sqoop

如何每天从Oracle加载增量记录到HDFS？我们能用Sqoop还是乔布斯？

浏览 0提问于2016-04-16得票数 0

回答已采纳

1回答

增量附加到文件

hive、hdfs、increment、sqoop

我在MySQL中有表，我想使用sqoop导入数据。我导入了数据并以file的形式存储在file中。现在，我想在hdfs中对这个文件运行增量更新。I am talking about files not Hive tables。我希望增量数据作为单独的文件，而不是合并的文件。我的意思是，我们可以对文件进行增量更新吗？

浏览 3提问于2017-03-17得票数 0

回答已采纳

4回答

用于数据来源的Sqoop与Informatica大数据版本

hadoop、hive、sqoop、informatica-powercenter

我可以选择使用Sqoop或Informatica版本将数据来源到HDFS中。源系统是Tearadata，Oracle。Informatica是组织中使用的ETL工具。问候桑吉布

浏览 2提问于2015-07-01得票数 0

回答已采纳

1回答

构建用于报告和分析Hadoop框架的应用程序

hadoop、hive、hbase、analysis、impala

我有一个带有SAS的应用程序，我从Oracle中提取数据，并使用基本SAS和SAS宏生成报告到excel。有人可以建议我任何方法和什么工具，我需要使用这个。

浏览 1提问于2015-01-12得票数 0

1回答

Sqoop导出失败处理

hadoop、sqoop

如何处理已经被RDBMS处理过的记录。我不想再次执行完全加载，我只想加载剩余的记录。有没有办法在sqoop中做到这一点？

浏览 2提问于2020-07-08得票数 0

2回答

将sqoop增量导入到单元表

hive、sqoop、oozie

我正在尝试对hive表执行sqoop增量导入(lastmodified)。它在sqoop 1.4.5中工作，但在sqoop 1.4.6中不工作。

浏览 3提问于2017-11-13得票数 2

回答已采纳

点击加载更多