已尝试执行增量导入sqoop作业，但出现以下错误
增量导入（Incremental Import）是一种在数据仓库中将新数据与现有数据合并的方法。在使用Sqoop进行增量导入时，可能会遇到以下错误：
- 错误信息：
NoClassDefFoundError: org/apache/sqoop/mapreduce/ImportJobBase
解决方案：这个错误通常是由于Sqoop的类路径配置错误导致的。请确保Sqoop的相关JAR包已正确配置，并且在执行Sqoop命令时，使用--class-path参数指定正确的类路径。
- 错误信息：
ERROR tool.ImportTool: Import failed: No primary key could be found for table
解决方案：这个错误表示Sqoop无法找到目标表的主键。在进行增量导入时，Sqoop需要通过主键来确定新数据和现有数据的关系。请确保目标表有一个主键，并在Sqoop命令中使用--incremental参数指定主键列。
- 错误信息：
ERROR tool.ImportTool: Import failed: Column cannot be null
解决方案：这个错误表示目标表中的某个列被定义为非空（NOT NULL），但Sqoop导入的数据中该列的值为空。请检查源数据并确保所有非空列都有有效的值。
- 错误信息：
ERROR tool.ImportTool: Import failed: Unsupported type
解决方案：这个错误表示Sqoop不支持源数据中的某个列类型。请检查源数据的列类型，并确保它们是Sqoop支持的类型。如果源数据中存在不支持的类型，可以考虑在导入之前进行数据转换或预处理。
总结：增量导入是一种将新数据与现有数据合并的方法，可以使用Sqoop工具来实现。在使用Sqoop进行增量导入时，需要注意配置正确的类路径、指定主键列、确保非空列有有效值，并检查源数据的列类型是否被Sqoop支持。
腾讯云相关产品推荐：
- 数据传输服务（Data Transfer Service）：提供数据迁移、同步和传输的解决方案，支持将数据从各种数据源导入到腾讯云的数据库中。了解更多：数据传输服务
- 数据库迁移服务（Database Migration Service）：提供数据库迁移的解决方案，支持将本地数据库迁移到腾讯云的数据库中。了解更多：数据库迁移服务
- 弹性MapReduce（EMR）：提供大数据处理和分析的解决方案，支持使用Hadoop和Spark等开源框架进行数据处理。了解更多：弹性MapReduce
相关·内容
我有一个sqoop作业，它记录每天增量追加的最后一个值。我的问题是我的目录每天都在变化，所以我们可以基于log_date创建分区。
我需要记录--全天的最后一个值。然后，我需要将该值传递给第二天新创建的作业。可以调用一个方法来获取上一个值吗？
我当前的sqoop作业看起来像是在shell脚本中编写的。
sqoop job --create test_last_index \
-- import --connect jdbc:xxxx \
--password xxx \
--table test_$(date -d yesterday +%Y_%m_%d) \
--target-dir /di
浏览 0提问于2014-01-14得票数 1
2回答
我正在处理一个sqoop作业，它将被安排在Oozie中，将每天的数据加载到蜂巢中。
我希望将增量加载作为一个参数，作为参数基于日期执行到hive中，该参数将传递给sqoop作业。
在研究了很多之后，我无法找到将参数传递给Sqoop作业的方法
浏览 4提问于2015-03-05得票数 6
如何使用sqoop作业自动执行sqoop增量导入？
据我所知，sqoop job会记住最后一个值。如果我们像这样创建一个sqoop作业
sqoop job --create myjob -- import --connect诸如此类。
sqoop exec myjob
并自动执行作业，它将在每次执行时创建作业。因此，我们将得到作业已存在错误。
那么，是否可以使用sqoop作业自动执行sqoop增量导入呢？
请让我知道你在这方面的知识。提前谢谢。
浏览 3提问于2017-01-25得票数 2
我使用Sqoopv1.4.2来执行带有作业的增量导入。这些工作是：
--create job_1 -- import --connect <CONNECT_STRING> --username <UNAME> --password <PASSWORD> -m <MAPPER#> --split-by <COLUMN> --target-dir <TARGET_DIR> --table <TABLE> --check-column <COLUMN> --incremental append --las
浏览 2提问于2012-10-09得票数 1
2回答
我在AWS EMR中运行了很多sqoop作业，但有时我需要关闭这个实例。
有一种方法可以从增量导入中保存最后一个id，可能是本地的，然后通过cronjob上传到s3。
我的第一个想法是，当我创建作业时，我只需发送一个请求到Redshift，在那里存储我的数据，并通过bash脚本获取最后一个id或last_modified。
另一个想法是获取sqoop作业的输出--显示$jobid，过滤last_id的参数，并使用它再次创建作业。
但我不知道sqoop是否提供了一种更容易做到这一点的方法。
浏览 0提问于2016-08-24得票数 0
回答已采纳
1回答
Sqoop增量追加
、、、、
在mysql中，我有包含字段(eid、ename、esal)的mydb/emp表。
在这里，我尝试在step1中使用增量追加来导入emp，而不创建作业和传递最后一个值。
sqoop import -- connect jdbc:mysql://localhost/myDB --table test --m 1
--target-dir /user/cloudera/mydata --incremental append --check-column eid
我在mydata中使用名为part-0001的不同文件得到了结果。从eid 0到last ex的更新值。eid 0到eid 8记录。
浏览 1提问于2016-06-03得票数 0
1回答
我的平台: CDH 5.10 Quickstart VM和Teradata TDEXPRESS 16 VM版本。我正在使用Sqoop和Teradata JDBC driver- tdgssconfig.jar，teradata-connector-1.5.3.jar，terajdbc4.jar我的sqoop作业失败，出现以下错误。
有什么建议吗？
[cloudera@quickstart sqoop]$ sqoop job --create incjobtd1 -- import --connect jdbc:teradata://192.168.142.129/DATABASE=teradb
浏览 9提问于2017-08-09得票数 0
我使用Sqoop增量导入，每天将数据输入到我的hive表中。我有以下场景:我有一个RDBMS表:用列清空数据
id name city
1 Sid Amsterdam
2 Bob Delhi
3 Sun Dubai
4 Rob London
我将数据导入到Hive中，使用Sqoop增量导入，通过cron作业将数据导入到shell脚本来完成工作。
#!/bin/bash
DATE=$(date +"%d-%m-%y")
while IFS=":" read -r server dbname tablename
浏览 2提问于2017-04-17得票数 1
回答已采纳
2回答
下面是我创建的sqoop作业
sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_categories --incremental append --check-column category_id --last
浏览 2提问于2016-12-01得票数 0
回答已采纳
我可以使用Sqoop成功地执行从MySQL到HDFS的增量导入，方法是
sqoop job -create JOBNAME ... --incremental append --check-column id --last-value LAST
sqoop job -exec JOBNAME
以日志消息结束，如下所示
INFO tool.ImportTool: Saving incremental import state to the metastore
INFO tool.ImportTool: Updated data for job: JOBNAME
检查作业会发现incrementa
浏览 0提问于2012-12-28得票数 2
1回答
使用Sqoop增量工具需要以类似于2016-09-05 06:04:27.0的格式在--last-value中提供上次修改日期。这种情况下的问题是，在源MySQL数据库中，update_date数据存储为纪元时间戳( 1550218178)。
使用以下sqoop命令
sqoop import --verbose --connect jdbc:mysql://192.18.2.5:3306/iprocure_ip --table depot --username usernamehere --password-file /user/admin/.password --check-column u
浏览 0提问于2019-03-07得票数 0
对于使用sqoop保存的作业，ooficial文档声明将导入较新的记录。这没问题。
但是，如果我们想要使用保存的作业，并且想要使用>=上次保存的值，例如，在并发使用数据库中使用此数据类型时可能出现的时间戳不准确，该怎么办？我们能否影响保存的值或比较，即>=而不是>？
浏览 13提问于2019-10-29得票数 0
回答已采纳
2回答
我正在尝试对hive表执行sqoop增量导入(lastmodified)。它在sqoop 1.4.5中工作，但在sqoop 1.4.6中不工作。
它正在抛出以下错误
**日志上载时间:2011年11月13日17:57:58 +0530 2017
Log Length: 246
--incremental lastmodified option for hive imports is not supported. Please remove the parameter --incremental lastmodified.
拦截System.exit(1)失败的Ooz
浏览 3提问于2017-11-13得票数 2
回答已采纳
1回答
我使用以下查询来获取sqoop中的增量数据-
bin/sqoop job --create JOB_NAME -- import --connect jdbc:oracle:thin:/system@HOST:PORT:ORACLE_SERVICE --username USERNAME --password-file /PASSWORD_FILE.txt --fields-terminated-by ',' --enclosed-by '"' --table SCHEMA.TABLE_NAME --target-dir /TARGET_DIR -m
浏览 0提问于2019-03-20得票数 1
回答已采纳
使用sqoop作业，我们可以使用HBase对--lastval进行增量加载。
但是，我们如何对shell脚本进行同样的处理，以及在自动化脚本时如何获得--lastval呢？
我的意思是如何存储--lastval以及如何将其传递给下一次
提前感谢您的帮助!！
浏览 2提问于2016-09-28得票数 2
回答已采纳
1回答
嗨，我通过sqoop连接器将数据从mysql加载到hdfs。现在，如果现有数据之间的行被更新，是否有任何查询来更新sqoop中现有行的数据值。我知道增量更新吗?在增量更新中是否也会更新现有行？我是sqoop新手吗？
浏览 0提问于2016-07-22得票数 0
2回答
我正在尝试使用自由形式查询进行sqoop作业的增量导入。下面是正在使用的查询
sqoop job --create importjobinl -- import --connect jdbc:mysql://localhost/test --username training --password training --query 'select id,name,unix_timestamp(time_updated) from intest where $CONDITIONS' --target-dir /user/new/lll/`date +%d%T|sed 's
浏览 1提问于2015-09-06得票数 0
1回答
我使用Apachesqoop1.4.6(与HortonWorks HDP 2.3包一起分发)在关系数据库管理系统和hdfs之间导入和导出数据。我必须将它部署在生产环境中，并且想知道sqoop的网络恢复能力。
假设我完成了大约90%的导入/导出工作，rdbms系统和我的hadoop集群之间出现了网络故障。由于sqoop在内部执行映射/减少作业，因此我猜作业将完全失败，需要手动重新启动。在这方面，我有以下问题
sqoop是否对已经导入/导出的数据执行清理？
如果发生网络故障，sqoop会自动重新启动作业吗？
如果需要手动清理和重新启动，那么除了sqoop之外，人们通常还使用什么技术来实
浏览 2提问于2016-01-25得票数 0
回答已采纳
当使用Sqoop从sql服务器或任何RDBMS数据库导入数据到hadoop时，我们可以使用增量追加或上次修改或一些自由形式的查询来获得新附加的记录或修改的记录。
有没有什么办法可以让我们识别删除的记录？考虑到当记录被删除时，它将不存在于sql表中。
一种解决方法是使用Sqoop加载整个表，并与配置单元中的前一个表进行比较。
有没有其他最好的方法呢？
浏览 1提问于2017-01-11得票数 0
在使用sqoop时，导入可以传递java属性。在我的情况下，我需要通过
-Doraoop.oracle.rac.service.name=myservice
与--direct一起使用sqoop直接连接到oracle。
现在，我需要用相同的参数创建一个sqoop作业，但是当我尝试发出
sqoop job --create myjob -- import -Doraoop.oracle.rac.service.name=myservice --direct --connect...
它抱怨说
ERROR tool.BaseSqoopTool: Error parsing arguments fo
浏览 4提问于2016-09-08得票数 1
3回答
如何改变sqoop亚稳态？
、、、、
我正在使用sqoop 1.4.2版本。我正在尝试将sqoop转移区从默认的hsqldb更改为mysql。
我在sqoop-site.xml文件中配置了以下属性。
<property>
<name>sqoop.metastore.client.enable.autoconnect</name>
<value>false</value>
<description>If true, Sqoop will connect to a local metastore
for job mana
浏览 4提问于2014-06-06得票数 5
回答已采纳
2回答
我正在寻找一种方法来复制表，可能是从到Cassandra (Datastax)的整个数据库。我不需要实时，但可以是30秒的延迟。到目前为止，研究还没有给我很多好的选择。我正在考虑使用Talend/Pentaho来安排作业，可能也是sqoop，但是在加载到Cassandra之前，我仍然需要一个ETL工具来完成一些转换。
因此，我想从Server中提取数据，对数据执行一些火花转换，然后加载到Cassandra中。
到目前为止，只有实时复制，我见过涉及水槽插件，但hdfs。卡桑德拉
浏览 1提问于2015-08-28得票数 1
回答已采纳
如何将架构名称传递给sqoop job将数据从SQL Server导入hdfs
sqoop job --create job_name -- import --connect "jdbc:sqlserver://server:port;database=datatabase_name;username=user;password=password" --table source_table --as-avrodatafile --target-dir data/target_folder -- --schema schema_name
当我使用以下命令执行作业时
sqoop j
浏览 1提问于2015-08-29得票数 0
1回答
我使用带有上一个值的增量追加创建了sqoop作业
作业：
sqoop job --create myjob2 -- import --connect jdbc:mysql://host/DBnam -username user -password passwor --table savingssmal --check-column id --incremental append --last-value 0 --target-dir /user/xxxx/prac/sqoop --split-by id --as-parquetfile -m 1
我的问题是:我想要将新创建的记录和更新的记录导
浏览 7提问于2018-06-24得票数 0
1回答
我从中克隆了sqoop项目，并使用build.xml在windows 7中使用ant创建了sqoop-1.4.6-SNAPSHOT.jar，并将其部署到cdh5环境中的/usr/lib/sqoop中，但当运行sqoop导入命令时，堆栈跟踪中会出现以下错误：
Exception in thread "main" java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat
at org.apache.sqoop.mapreduce.DataDrivenImportJob.
浏览 1提问于2014-11-02得票数 0
我有一个postgresql数据库，用于生产服务器。我想设置一个Hadoop/Spark集群来运行mapreduce作业。为此，我需要将postgres数据库中的数据加载到hdfs。简单的方法是使用一个批处理作业，该作业每天一次将数据库(120 to )的内容转储到HDFS。这将是浪费和昂贵的。由于大多数数据不会从一天到第二天发生变化，理论上每天只发送diffs会更便宜、更高效。这个是可能的吗？
我读过一些关于sqoop的文章，它似乎提供了我想要的功能，但它需要对数据库和应用程序进行更改。有没有一种不需要对数据库进行任何更改的方法？
浏览 1提问于2014-12-02得票数 0
1回答
我正在尝试按照Kyle Mulka的博客"“中描述的步骤在Amazon EMR集群上安装Sqoop。
在将所需的文件上传到S3位置后，我尝试通过命令行界面运行以下EMR作业。
./elastic-mapreduce --create --name SQOOP-INSTALL --jar s3://<YOUR-REGION>.elasticmapreduce/libs/script-runner/script-runner.jar --arg s3://<YOUR-BUCKET>/sqoop-install/install_sqoop.sh。
我可以看到一个名为S
浏览 3提问于2013-11-04得票数 2
我已经将我的数据库密码存储在Hadoop CredentialProvider中。
从终端导入的Sqoop运行良好，成功地从CredentialProvider获取密码。
sqoop import
-Dhadoop.security.credential.provider.path=jceks://hdfs/user/vijay/myPassword.jceks
--table myTable -m 1 --target-dir /user/vijay/output --delete-target-dir --username vijay --password-alias db2-dev-
浏览 7提问于2016-04-05得票数 3
回答已采纳
1回答
我正在尝试创建一个Sqoop作业，在一个特定的队列中运行，但它不起作用。
我试过两件事：
1：在就业创建中声明队列
sqoop job \
--create myjob \
-- import \
--connect jdbc:teradata://RCT/DATABASE=MYDB \
-Dmapred.job.queue.name=shortduration \
--driver com.teradata.jdbc.TeraDriver \
--username DBUSER -P
浏览 0提问于2016-06-07得票数 3
回答已采纳
理想情况下，当我们在不使用merge-key的情况下运行增量时，它将创建带有附加数据集的新文件，但是如果我们使用merge-key，那么它将创建新的整个数据集，其中仅包含一个文件中的前一个数据集。但是，当我在sqoop作业中使用incremental append时，我不会得到一个部件文件。以下是我的步骤：
1)初步数据：
mysql> select * from departments_per;
+---------------+-----------------+
| department_id | department_name |
+---------------+-------
浏览 2提问于2018-10-04得票数 1
回答已采纳
通过创建链接和作业，我已经能够在Sqoop 1.99.6中从Oracle导入数据。但是，我想知道是否可以使用以下语法来导入数据：
sqoop import \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities
在/<sqoop_home>/bin目录下，我只能找到sqoop.sh文件，而没有sqoop文件。
谢谢。
浏览 2提问于2016-04-28得票数 0
1回答
我们正面临以下问题的细节如下，请分享您的投入。
1)在sqoop中使用-验证选项
如果我们在没有为sqoop创建作业的情况下运行sqoop命令，则验证工作。但是，如果我们首先创建一个作业，使用validate选项验证似乎不起作用。
同工
sqoop导入--连接"DB连接“--用户名$USER --密码--文件$File_Path --仓库-dir $TGT_DIR --as-textfile --字段--终止于‘sqoop’--行--被'\n‘--表emp_table -m 1 --outdir $HOME/javafiles -验证
不起作用
sqoop作业--创建Job_i
浏览 4提问于2017-01-12得票数 0
我正在尝试理解sqoop作业中默认的最大映射器背后的原因，以及我们是否可以在sqoop作业中设置四个以上的映射器以实现更多的并行性。
浏览 1提问于2017-04-21得票数 4
1回答
我试图使用Sqoop将数据从MySQL表导入到Hive。据我所知，有两种方法可以做到。
将数据导入HDFS，然后在Hive中创建外部表并将数据加载到该表中。
在运行Sqoop查询时使用create-hive-table在Hive中创建一个新表，并将数据直接加载到其中。我正试着做这件事，但出于某种原因我做不到
这是我的密码
sqoop import \
--connect jdbc:mysql://localhost/EMPLOYEE \
--username root \
--password root \
--table emp \
--m 1 \
--hive-databa
浏览 3提问于2017-11-13得票数 0
1回答
在一个场景中，如果有一个sqoop作业，我们使用它一次导入250行数据，然后再导入250行数据，那么有什么方法可以知道sqoop作业的哪个执行导入了哪些数据呢？
浏览 1提问于2019-03-08得票数 0
我试图使用sqoop增量作业将数据从oracle导入到hive表，并使用parquet文件格式。但是由于以下错误，作业失败了。
错误: org.kitesdk.data.DatasetOperationException:未能追加{"CLG_ID"："5"，.19/03/27 00:37:06 INFO mapreduce.Job:任务Id : attempt_15088_130_m_000_2，状态: Failed
查询以创建已保存的作业：
sqoop作业-Dhadoop.security.credential.provider.path=jceks
浏览 0提问于2019-03-27得票数 0
回答已采纳
2回答
我已经创建了一个名为TeamMemsImportJob的sqoop作业，它基本上是将数据从sql server拉到hive中。我可以通过unix命令行运行以下命令来执行sqoop作业：
sqoop job –exec TeamMemsImportJob
如果我创建了一个oozie作业，并在其中包含了实际的独家输入命令，它运行得很好。但是，如果我创建oozie作业并通过它运行sqoop作业，我会得到以下错误：
oozie job -config TeamMemsImportJob.properties -run
>>> Invoking Sqoop command line
浏览 0提问于2014-06-25得票数 1
1回答
众所周知--增量的SQOOP导入开关不适用于通过sqoop进行的HIVE导入。但解决这个问题的方法是什么呢？
1)我可以做的一件事是，我们可以创建一个HIVE表，并通过SQOOP将增量数据带到HDFS中，然后手动加载它们。但是，如果我们这样做，每次这样做，数据就会被覆盖。如果我错了，请纠正我。
2)当对数据进行分区时，查询的有效性如何？
谢谢
浏览 2提问于2017-12-14得票数 0
回答已采纳
1回答
Sqoop队列调度
、、、
我正在尝试运行以下sqoop导入
sqoop import \
-Dmapred.child.java.opts="\-Djava.security.egd=file:///dev/urandom" \
-Dmapred.job.queuename=batch \
--connect $connection \
--username $username \
--password $password \
--table $sourceTable \
--columns
浏览 0提问于2018-03-13得票数 0
1回答
sqoop如何获取vcore来执行。我提交了一个带有4个映射器的sqoop作业，应用程序从1个vcore开始，即使有大约50个vcore可用。所以没有并行化。这是将sqoop作业导入到文本文件中。这些是yarn中关于vcrore分配的配置参数。sqoop作业如何获取vcore以供执行？
<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>4</value>
<source>yarn-site.xml</source>
&
浏览 6提问于2017-09-13得票数 0
1回答
作为oozie作业运行时，Sqoop导入操作出现错误。 我使用的是一个伪分布式hadoop集群。我遵循了以下步骤。 1.启动oozie服务器 2.编辑的job.properties和workflow.xml文件 3.将workflow.xml复制到hdfs 4.运行oozie作业 我的job.properties文件 nameNode=hdfs://本地主机:8020 jobTracker=localhost:8021 queueName=default examplesRoot=examples oozie.use.system.libpath=true oozie.wf.applicat
浏览 15提问于2019-05-29得票数 0
我在mysql中有表测试，如下所示：
id name address
1 Km sky
2 hd heaven
3 Ab null
4 en null
现在我做了一个sqoop导入，如下所示
sqoop import--connect jdbc:mysql://XXXXXX/testing --username XXXX --password XXXX --query "select * from testing.test where \$CONDITIONS" --null-string '' --null-non-string '
浏览 23提问于2017-02-21得票数 0
回答已采纳
我希望将sqoop文件直接保存到hdfs。我正试图在命令下这样做。但面对ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException
sqoop版本- 1.4.7
sqoop导入-选项-file /home/user/optionsfile.txt -查询"select * from table \$CONDITIONS“-目标-dir‘hdfs://user/x/sqoop 1’-as-parquetfile -m 1；
当我尝试使用没有--as-parquetfile作业的sqo
浏览 4提问于2018-08-28得票数 0
回答已采纳
我已经在我的本地机器(Linux)中拥有一个MySQL表--它是self的，并且我有一个Hive外部表，它的模式与MySQL表相同。
我试图将数据从MySQL表导入到Hive外部表，并为此使用Sqoop。
但是问题是，每当一个新记录被添加到MySQL表中，它就不会自动更新Hive外部表？
这是我使用的Sqoop导入命令：
sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root -P --split-by id --columns id,name,age,salary --table customer --
浏览 3提问于2017-07-17得票数 1
回答已采纳
2回答
是否有办法使用sqoop进行增量导出？我对sqoop.I使用了Hcatalog集成，我尝试使用--最后一个值，--检查列选项，这些选项用于增量导入，但是sqoop给了我错误，这些选项是无效的。
浏览 5提问于2016-04-19得票数 1
回答已采纳
1回答
在我的应用程序中，有4个表，每个表都有100多万个数据。
目前，我的基于java的报告引擎加入了所有的表，并获得了要在报表中显示的数据。
现在我想介绍使用sqoop的Hadoop。我已经安装了Hadoop2.2和sqoop1.9。
我做了一个小POC来导入hdfs中的数据。问题是，每次它创建新的数据文件。
我的需要是：
将有一个每天运行一次的调度程序，它将：
从所有四个表中选择数据，并使用sqoop加载hdfs中的数据。
PIG将对数据进行一些转换和连接，并准备具体的非规范化数据。
Sqoop将再次将这些数据导出到单独的eporting中。
我对此很少有疑问：
是否需要
浏览 3提问于2014-04-18得票数 0
我遵循了这样的指令：
从/etc/default设置HADOOP_ENABLED=1。
sudo service dse start或dse cassandra -t
现在我可以使用dse hadoop了，这意味着启用了Hadoop。
但是，当我尝试运行dse sqoop import help时，我得到了以下错误:无法启动sqoop:作业跟踪器未找到
然后我发现我需要添加凭据，我添加了用户名和密码，得到了以下帮助信息：
但是，当我尝试使用dse sqoop导入时，我得到了以下错误：
我认为这是因为dse sqoop不识别cassandra参数，但它是dse(d
浏览 1提问于2016-10-12得票数 0
当我试图从Teradata View导入表格时，我遇到了Teradata连接器for Sqoop的问题。我只有访问视图的权限。
但是不知何故，当sqoop作业启动时，它试图在Teradata DB中创建一个表，我正在访问Teradata DB，但没有在该DB/schema中创建任何表的权限
我得到了以下错误
13/05/31 03:40:12 ERROR tool.ImportTool: Encountered IOException running import job: com.teradata.hadoop.exception.TeradataHadoopSQLExceptio
浏览 1提问于2013-05-31得票数 0
回答已采纳
我写了一个Sqoop导入程序，使用where子句从Netezza导入数据，当where子句中存在语法错误时，Sqoop生成的映射器会抛出Netezza级别的语法错误并挂起。如何捕获这些场景并使Sqoop导入作业失败。
浏览 0提问于2019-03-26得票数 0
我正在运行一个3节点的HDP 2.2集群。Oozie版本是4.1.0.2.2，Sqoop版本是1.4.5.2.2。我正在使用Sqoop作业从RDBMS到HDFS进行增量导入，如下所示：
sqoop job –create JOB1 –meta-connect “jdbc:hsqldb:hsql://ip-address:16000/sqoop” — import –connect jdbc:oracle:thin:@ip-address:db –username db_user –password-file hdfs://ip-address:8020/user/oozie/.password
浏览 2提问于2015-08-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
