1回答
是否有一个可以推送大量数据的框架？
hadoop
我们的MySQL和Hadoop平台部署在不同的网络中，Hadoop不能访问MySQL，但是MySQL可以连接到Hadoop。那么，是否有一个工具可以像Sqoop获取数据那样将大量数据从RDS推送到HDFS？或者有没有其他方法可以解决这个问题？
任何帮助都是非常感谢的。顺便说一句，Hadoop集群在我们的网络中使用了一个Kafka主题，通过在两边部署水槽并连接在一起。但是对于海量的RDS数据<
浏览 1提问于2019-02-20得票数 0
2回答
如何将大型mysql转储导入hadoop？
mysql、hadoop、sqoop
我需要导入维基百科转储(mysql表，解压的文件需要大约50 to )到Hadoop(hbase)。现在，我首先将dump加载到mysql中，然后将数据从mysql传输到hadoop。但是将数据加载到mysql需要大量的时间--大约4-7天。是否可以将mysql转储直接加载到hadoop中(通过转储文件解析器或其他类似工具)？
浏览 0提问于2012-11-13得票数 4
回答已采纳
3回答
将大量MySQL数据导入Hadoop
mysql、hadoop、import
我计划使用一个使用Hadoop、Hive和Impala的堆栈来分析大数据。我已经准备好了设置，现在我正在尝试从MySQL表中导入数据。表大小超过500 GB，我计划使用Sqoop，如下所示：
sqoop import --connect jdbc:mysql://remote_host_ip/database_name --usernamehive-import --compression-codec=snappy --as-parquetfile --wa
浏览 26提问于2016-08-24得票数 1
1回答
如何将mysql表中的数据加载到cloudera(使用虚拟框启动)
mysql、hadoop、cloudera
这些纬度和经度值存储在mysql数据库中的表中。因此，我希望将mysql数据库中的这些纬度和经度值导入hadoop。现在，在cloudera命令提示符中，当我尝试使用如下查询导入mysql表中的值时
$ bin/sqoop import --connect jdbc:mysql://192.168.56.1&
浏览 3提问于2017-01-23得票数 0
1回答
hdfs和hive有什么关系？
hadoop、hive
我有psudeo分布式hadoop环境，并使用sqoop和hive进行数据导入和分析。我使用sqoop将数据从mysql导入到蜂箱中，它起作用了，我在我的蜂巢位置(也就是/user/hive/warehouse/ )获得了数据，我可以在hive表中看到数据。我的怀疑是：
当我从mysql导入到hive(构建在hadoop之上)时，
浏览 5提问于2017-01-11得票数 0
3回答
如何使用sqoop import将RDBMS数据导入到特定的配置单元数据库
mysql、database、import、hive、sqoop
我需要使用sqoop将外部数据库从mysql导入配置单元。我的需求是使用sqoop import将包含所有表的完整数据库导入到指定的配置单元数据库。例如，我想导入mysql数据库'hadoop_practice‘以及它的所有表到hadoop_practice数据库中。但是，当我执行以下命令时
$ sqoop import-all-tab
浏览 1提问于2015-01-15得票数 0
2回答
使用Sqoop将数据加载到HDFS
hdfs、sqoop、webhdfs、sqoop2
我正在寻找将数据移动到HDFS系统的方法，想知道Apache Sqoop是否可以用于从外部REST服务中提取数据？
浏览 2提问于2014-10-01得票数 1
5回答
Hadoop与MySQL的集成
mysql、integration、hadoop
我们希望在我们的系统上实现Hadoop，以提高其性能。这是一个好的实现吗？
浏览 3提问于2011-01-26得票数 14
回答已采纳
1回答
当我执行以下导入命令时，我正在尝试使用Apache Sqoop CLI将所有表从MySQL数据库导入配置单元数据库：不知何故，导入失败了，我在输出的末尾
浏览 48提问于2020-05-11得票数 2
1回答
从RDBMS导出到Hadoop兼容格式
hadoop、hive、sqoop
我需要将大量数据从Oracle数据库移到Hadoop，而不需要连接这两个系统。是否可以通过Sqoop直接将数据从Oracle导出到本地文件系统，而无需导入HDFS。我想导出到ORC，然后通过外部磁盘将文件移动到Hadoop集群。
浏览 1提问于2016-06-23得票数 0
回答已采纳
3回答
如何将MySQL数据导入Hadoop文件系统？
mysql、hadoop2、sqoop2、sqoop
在我的系统中，Mysql中有数据库。我想把它导入hadoop文件系统。我发现了一些关于Sqoop的东西，但我没有得到命令去做这件事。
浏览 16提问于2015-12-03得票数 0
回答已采纳
如果我们使用Sqoop从MySql导入数据到HDFS，那么在HDFS中存储的文件格式是什么？
浏览 11提问于2015-05-05得票数 1
回答已采纳
3回答
是否可以读取MongoDB数据，用Hadoop处理数据，并将其输出到RDBS (MySQL)中？
mysql、mongodb、hadoop、sqoop
摘要：
在单个事务中使用Sqoop导出它。虽然MongoDB在大部分工作中运行良好，但在某些部分，我需要更强的事务性保证，为此我使用了一个MySQL数据库。我了解到，可以使用MongoDB将数据从读取到Hadoop，后者从MongoDB读取数据，
浏览 8提问于2012-04-01得票数 7
回答已采纳
4回答
如何将Hadoop与Mysql集成
java、mysql、hadoop
我刚开始和hadoop合作。我做了一些基本的应用，比如word coutnt。但是现在我需要在Hadoop、HDFS和Mysql数据库之间传输数据。
我试着遵循代码，但没有得到正确的结果。
浏览 3提问于2014-01-27得票数 1
回答已采纳
4回答
将大量数据导入MySQL
php、mysql、performance、bulkinsert
因此，我试图将一些销售数据导入我的MySQL数据库。数据最初以原始CSV文件的形式出现，我的PHP应用程序需要先处理该文件，然后将处理后的销售数据保存到数据库中。然后，我生成了一个大型查询，INSERT同时对数据进行了编辑。这使我们的效率提高了3400%，并将查询时间缩短到仅超过3秒。现在，我正在考虑将处理过的数据写入文本文件，并使用LOAD DATA INFILE将其导入
浏览 5提问于2010-06-22得票数 4
回答已采纳
我正在尝试使用hadoop集群中的SQOOP将表从RDBMS导入到HIVE中，我收到以下错误，您能提供解决方案吗？bin/sqoop-import --connect jdbc:mysql://localhost:3306/hadoop -username root -password root --table0.11.0 -m 1 --target-dir /user/hive/warehouseFAILED: Execu
浏览 1提问于2014-06-02得票数 0
2回答
Sqoop导入MySql Db失败
mysql、hadoop、sqoop
我将尝试将mysql表导入sqoop，但我将面临以下异常:运行在本地计算机表创建中的MySql和数据库创建工作正常，而当我尝试sqoop导入作业时，自动失败。请帮帮我。提前谢谢。'MySQL' is not recognized as an internal or external command,
operable program or batch file.at org.apache.hadoop</e
浏览 1提问于2016-02-22得票数 1
回答已采纳
3回答
如何将表从mysql导入到Hive？
sqoop
emp3',99999), (5,'emp5',45788);
我收到以下错误，请您提供解决方案org.apache.sqoop.tool.ImportT
浏览 5提问于2013-12-09得票数 0
5回答
如何通过sqoop将表从sql server导入到hdfs
hadoop、hive、sqoop
我安装了hadoop，hive，sqoop。我将表从我的数据库导入到hdfs，但无法将其导入到配置单元。我需要在配置单元中配置任何文件吗？同样，当我浏览网页时，显示的是MySQL的配置，但我使用的是驱动程序jdbc:sqlserver。有没有人能帮帮我，因为我已经坚持了很多天了。
浏览 2提问于2012-08-01得票数 2
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号