1回答
我正在使用Sqoop将oracle表导入到HDFS中。 我有大约50个表要导入，50个表中有10-15个表太大(大约50 15)。这是我第一次想要将它们作为一个完整的负载导入，之后我将只导入增量数据。我把这两个脚本安排在一个特定的时间，比如早上7点 这两个脚本都运行得很好，但如您所见，它只能并行执行两个sqoop作业。 但我想一
浏览 19提问于2019-04-29得票数 0
7回答
sqoop导入多个表
、、、
我们使用的是Cloudera CDH 4，并且我们能够按照预期将表从Oracle数据库导入到HDFS仓库中。问题是我们的数据库中有上千个表，而sqoop一次只支持导入一个表。将多个表导入HDFS或Hive有哪些选项？例如，一次将200个表从oracle导入HDFS或Hive的最佳方式<
浏览 1提问于2013-06-19得票数 8
回答已采纳
我想使用Sqoop将大表从oracle数据库导入到HDFS。由于表很大，而且有主键，所以sqoop可以并行运行多个映射器。我有一些问题要问
1)由于oracle数据库中的错误记录，一个映射器出现异常，其他映射器运行正常。那么所有的作业都将失败，或者除了一个映射器数据之外，所有其他映射器都将在HDFS中写入数据？2)如果我们使用hive --m选项，sqoop是否足够智能来运行<em
浏览 0提问于2018-02-28得票数 0
我们在Oracle中有不同的数据库模式。我们计划从oracle到Hive ware house中的一些表进行sqoop。但是如果我们把一个oltp的表的sqooping是顺序的，那么它是有效的。但为了更好地使用，我们计划并行地sqoop不同的oltps表，但它正在并行sqoop</em
浏览 2提问于2013-10-22得票数 0
我希望从Oracle数据库中提取一些数据，并将其传输到远程HDFS文件系统。实现这一目标似乎有几种可能的方法：
我的问题是，第一种方法(对我来说工作较少)会导致Oracle锁定表的时间超过所需时间吗？我担心的是，当<em
浏览 7提问于2016-02-16得票数 2
我需要从MYSQL导入数据，运行MR并将其导出回MYSQL。我能够用DBInputFormat和DBOutputFormat成功地在一张先生的工作中成功地完成几张记录。替代方法是将数据导出到HDFS，运行MR job并将其推回我的SQL。对于包含大约百万条400+记录的庞大数据集，使用DBInputFormat和DBOutputFormat或使用HDFS作为数据源和目标，哪个选项更好。使用HDFS会在我的MR工作之前和之后增加一个步骤。由于数据存储在H
浏览 0提问于2013-07-26得票数 0
回答已采纳
当我们在sqoop中编写--split-by时，内部会发生什么？示例：
sqoop import --connect jdbc:mysql://localhost/test --username root --password training123 --query
浏览 3提问于2016-06-25得票数 2
我有一个数据库有很多表(超过600)，并希望将它们全部导入到配置单元使用sqoop。这就是我使用的命令：导入总是失败，因为sqoop尝试导入一些不属于该用户<
浏览 1提问于2013-01-17得票数 1
回答已采纳
我使用sqoop将数据以avro格式从oracle导入hdfs。我想通过写入多个hdfs文件(每个映射器实例一个)来并行这个过程，因为记录顺序对我来说并不重要。在sqoop中有这样做的选项吗？
浏览 1提问于2015-05-15得票数 0
我尝试使用以下Sqoop命令列出Oracle数据库中的表：
sqoop list-tables --connect jdbc:oracle:thin:@//10.13.25.118:1521/udc.ds.dtvops.net
浏览 0提问于2013-11-13得票数 2
1回答
我正在尝试将一个巨大的表从oracle 10g导入到HDFS (GCS，因为我在Google Cloud Dataproc中使用sqoop )作为AVRO。当表没有任何日期列时，一切都很正常，但是当它有日期列时，导入的日期是非常错误的。例如: Oracle data -> 30/07/76和HDFS data -> 14976-07-30 20:02:00.0
例如:
浏览 2提问于2020-12-04得票数 0
2回答
我使用的是Sqoop版本1.4.2和Oracle数据库。./sqoop import \ --jtcool column> \ --verbose --m
浏览 0提问于2013-05-17得票数 6
我在oracle中有一个表(表名为TRCUS)，其中包含客户的详细信息，根据年份和月份进行分区。Oracle中的分区名称: PERIOD_JAN_13、PERIOD_FEB_13、PERIOD_JAN_14、PERIOD_FEB_14等
现在，我想直接使用SQOOP将这个表的数据导入到HIVE中。Sqoop作业应该创建一个hive表，基于oracle</e
浏览 6提问于2017-10-16得票数 1
回答已采纳
在使用sqoop时，导入可以传递java属性。在我的情况下，我需要通过与--direct一起使用sqoop直接连接到oracle。现在，我需要用相同的参数创建一个sqoop作业，但是当我尝试发出
sqoop job --create myjob -- import -Doraoop.oracle
浏览 4提问于2016-09-08得票数 1
我有一个oracle表，它有80列，id在state列上分区。我的要求是创建一个具有类似oracle表模式并在状态上进行分区的hive表。错误sqoop.Sqoop:获得运行Sqoop: java.lang.IllegalArgumentException:分区键状态的异常不能是要<e
浏览 3提问于2014-10-09得票数 0
回答已采纳
1回答
Hadoop中的日期处理
、、、
我是大数据/Hadoop生态系统的新手，我注意到日期并不总是以标准的方式跨技术处理。我计划使用带有Avro和Parquet文件格式的Sqoop将来自Oracle的数据摄取到HDFS上的Hive表中。Hive继续将我的日期导入到BIGINT值中，我更喜欢时间戳。我试过用“--地图列-蜂巢”覆盖.但还是不起作用。
寻找关于处理此用例日期的最佳</em
浏览 2提问于2017-04-23得票数 0
回答已采纳
2回答
我在oracle中有一个只有4列的表...uuid -字符串更新日期-日期
我想使用sqoop将这些数据导入HIVE表中。HIVE表中的数据。现在，我想用updatedate (今天的最后一个值)的增量更新来更新这个表，这样我就可以使用sqoop将该OLTP表的</
浏览 1提问于2016-07-05得票数 1
是否可以使用sqoop命令"import table“将表从oracle数据库导入到Hadoop集群中，并使用当前时间戳添加额外的列(用于故障排除目的)？到目前为止，我有以下命令：
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect jdbc:oracle:thin:@//MY_O
浏览 22提问于2018-01-01得票数 0
我正在尝试使用Sqoop命令从Oracle数据库导入特定模式中的所有表： sqoop import-all-tables --connect jdbc:oracle:thin:server:port:database --username x --password y --warehouse-dir warehouse-dir --hive-import --create-hive-table 但是这个Oracle数据库有更多
浏览 13提问于2020-08-11得票数 0
1回答
我有一个火花流程序，它将在一个15分钟的窗口中聚合和处理数据。它的输出需要推送到oracle表中。
这里最好的方法是什么？如果我将我的数据写进蜂巢，然后使用sqoop将其推送到oracle，那么我将不得不将sqoop的工作安排在一定的频率上，sqoop应该以某种方式了解它以前提取的数据以及它现在应该从蜂巢中提
浏览 0提问于2018-02-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
