Sqoop将数据导入到配置单元和hdfs

文章/答案/技术大牛

发布

1回答

如何将XML类型的oracle数据迁移到Hadoop HDFS

hadoop、hdfs、xmltype

我在Oracle中有一个表中的大量数据，其中一个列类型是包含主数据的XML类型。我需要将此数据移动到HDFS。在Hadoop HDFC中迁移此数据的最佳方法是什么。任何示例代码或指令都将不胜感激。

浏览 1提问于2016-03-07得票数 0

1回答

如何在不使用sqoop创建架构的情况下将本地csv导入配置单元

hive、sqoop

我在我的本地目录中有一个csv，我希望创建一个it..The的配置表，问题是csv有很多列...

浏览 0提问于2015-11-08得票数 0

2回答

mysql、hive、hdfs、sqoop、hortonworks-data-platform

我们可以使用sqoop将数据导入到hdfs和配置单元中吗？hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' --target-dir test_hive_admin/2 它返回：这两种方法都成功地将数据导入到配置单元，但都无法<

浏览 24提问于2019-02-19得票数 2

回答已采纳

1回答

如何sqoop导入将新数据追加到分区的hive表中，从而在相同的分区列上创建新的分区文件夹？下面是我的场景

hadoop、hive、hdfs、sqoop、partition

我在hive中的date列上有一个分区表，可以第一次将数据sqoop导入到hive分区表中。当我执行此操作时，它会正确创建所有日期文件夹，并将数据加载到配置单元表的hdfs位置中的每个文件夹中。现在，当我想要sqoop导入新数据并将其再次附加到具有新的更新日期的同一配置单元表中时(这将在hdfs配置单元位置创建新的日期分区文件夹

浏览 45提问于2017-08-30得票数 0

2回答

Sqoop中两个命令的区别

hive、sqoop

请告诉我下面的两个命令有什么区别 --username root --passwordpassword --usern

浏览 1提问于2015-07-26得票数 0

2回答

如何使用create- Hive -table在配置单元中创建表时使用自定义分隔符

mysql、hadoop、hive、sqoop

我正在尝试将数据从RDBMS表导入HDFS。然后，我使用create- hive -table将模式复制到配置单元，然后将数据加载到该配置单元表。用于导入到HDFS的命令 sqoop import --connect jdbc:mysql://localhost/sqoop --username sqoop<

浏览 5提问于2016-01-27得票数 1

5回答

如何通过sqoop将表从sql server导入到hdfs

hadoop、hive、sqoop

我安装了hadoop，hive，sqoop。我将表从我的数据库导入到hdfs，但无法将其导入到配置单元。我需要在配置单元中配置任何文件吗？同样，当我浏览网页时，显示的是MySQL的配置，但我使用的是驱动程序jdbc:sqlserver。有没有人能帮帮我，因为我已经坚持了很多天了。

浏览 2提问于2012-08-01得票数 2

3回答

如何使用sqoop在Hive中创建外部表。需要建议

hadoop、hive、sqoop

使用sqoop，我可以创建托管表，但不能创建外部表。1.对仓库中的表进行分区。有些是按日期分区的，有些是按状态分区的。

浏览 5提问于2015-01-17得票数 2

回答已采纳

1回答

使用配置单元导入的oozie sqoop操作

hive、sqoop、oozie

我有一个sqoop操作，它从postgres数据库中提取数据，然后导入到一个hive表中。当我执行oozie工作流时，scoop将数据从postgres拉到HDFS中。但它无法将数据导入配置单元表中。我们真的可以在sqoop操作中进行配置单元导入吗？或者，在sqoop导入到HDFS之后，我是否

浏览 1提问于2015-01-02得票数 0

7回答

为此，我在Ubuntu机器上配置了hadoop、hase、hive、sqoop。raghu@system4:~/sqoop$ bin/sqoop-import --connect jdbc:mysql://localhost:3306/mysql --username root -我能够看到这些表是在HDFS中创建的。我已经在Sqoop导入中看到了一些选项-它可以导入到Hive/HDFS&#

浏览 0提问于2012-05-01得票数 2

1回答

在sqooping数据之后，配置单元抛出错误

hadoop、hive、hdfs、sqoop、parquet

我想将数据从数据库导入到HDFS中，然后填充hive表。我不能使用sqoop import --hive-import，因为sqoop会将数据从--target-dir移动到配置单元的metastore目录。因此，我必须创建hive模式sqoop create-hive-table，将hive表转换为parquet SET FILEFORMAT parquet，将hive表的位置更

浏览 1提问于2017-05-12得票数 0

1回答

错误[main]枚举:导入失败:没有枚举常量org.apache.hadoop.mapreduce.JobCounter.MB_MILLIS_MAPS

mysql、mapreduce、sqoop、hadoop2

我使用的是Hadoop 2.7.1版本sqoop 1.4.6和java 1.8。所有的守护进程都运行正常。当我使用sqoop import时，我得到下面的错误。sqoop import --bindir ./ --connect jdbc:mysql://localhost/mydb --username root --password yashu123 --table shipper --m 1 --target-dir /file Warning: /usr&

浏览 27提问于2017-02-07得票数 0

1回答

将数据从mysql导入到配置单元时，用户注销和hadoop服务器自动关闭

mysql、hadoop、hive、sqoop

bin/sqoop import --connect jdbc:mysql://localhost/user_db --username asdf --password asdf --table hotels--hive-import --hive-home /opt/hive --m 1 能够将数据从mysql导入到HDFS，但无法直接导入到配置单元，而是发生了用户注销。

浏览 2提问于2016-06-22得票数 1

2回答

在netezza中将间隔数据类型映射为字符串时出错

hive、sqoop、netezza

Netezza的表结构：我使用sqoop导入表及其在单元格中的数据，因为hive不支持区间数据类型，所以在导入时，我将区间数据类型映射为STRING。(ImportTool.java:478) atorg.apache.sqoop.tool.ImportTool.run(ImportTool.java:601) at org.apache

浏览 4提问于2015-02-04得票数 1

1回答

PostgreSQL Sqoop导入+数据换行问题

hadoop、sqoop

我们正在尝试使用apache sqoop将PostgreSQL数据导入Hadoop环境。在此基础上，确定了使用PostgreSQL复制操作将数据快速导入到HDFS中SQOOP导入的直接(关键字：--direct)模式。'\n' doesn't help)has line break",value3 配置单元表视其为2条记

浏览 82提问于2021-09-06得票数 0

1回答

文件不归配置单元所有，加载数据也不作为配置单元运行

hive、sqoop

和我的Ambari来部署hadoop集群和配置单元。我只想使用一个用户(Hdfs)来运行所有程序(例如hadoop、hive、sqoop、yarn...)。因此，在ambari中部署hadoop集群时，我在设置帐户步骤中将所有用户更改为hdfs。部署后，我运行sqoop将数据从mysql导入到配置单元。我有以下问题。://datacenter1:8020

浏览 55提问于2019-02-20得票数 2

4回答

Apache和Hive的区别。我们能一起用吗？

hadoop、hive、sqoop

Apache和Hive有什么区别？我知道sqoop用于将数据从RDBMS导入/导出到HDFS，Hive是Hadoop之上的SQL层抽象。我可以使用Sqoop将数据导入HDFS，然后使用Hive查询吗？

浏览 10提问于2014-10-13得票数 4

回答已采纳

2回答

将数据加载到Hadoop中

hadoop、mapreduce、apache-pig、sqoop、flume

我正试图找出这两个问题的正确答案，这两个问题都涉及将数据加载到您的Hadoop，这是我在网络上发现的，作为Hadoop开发的材料和案例研究的一部分。第一个问题是：A. HDFS指挥部C.Sqoop进口E.与水槽剂的摄入我发现不同的

浏览 2提问于2015-01-13得票数 1

回答已采纳

2回答

Sqoop + S3 + Parquet导致错误的FS错误

hadoop、amazon-s3、parquet、sqoop

当尝试使用Sqoop将数据以Parquet格式导入S3时，如下所示：ERROR tool.ImportTool: Imported Failed: Wrong FS: s3a://bucket-name/, expected: hdfs://localhost:9000 导入非

浏览 0提问于2015-10-20得票数 1

1回答

为什么我们不在生产环境中使用sqoop* eval，使用sqoop eval有什么缺点？*

eval、sqoop

使用sqoop eval，我们可以评估与数据库的连接。但是之后，我们为什么不在生产环境中使用查询建议，它在生产环境中的重要性是什么。sqoop eval \ --connect jdbc:mysql://quickstart.cloudera:3306/retail_db \--用户名retail_dba \--密码cloudera

浏览 28提问于2019-05-17得票数 1

点击加载更多

如何将XML类型的oracle数据迁移到Hadoop HDFS

如何在不使用sqoop创建架构的情况下将本地csv导入配置单元