hive和mysql传输数据 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

如何将mysql表转移到hive？

mysql、hadoop、hive

我有一个很大的mysql表，我想将其传输到Hadoop/Hive表。有没有标准的命令或技术可以将简单的(但很大的)表从Mysql传输到Hive？该表主要存储分析数据。

浏览 2提问于2011-01-08得票数 6

回答已采纳

4回答

Apache和Hive的区别。我们能一起用吗？

hadoop、hive、sqoop

Apache和Hive有什么区别？我知道sqoop用于将数据从RDBMS导入/导出到HDFS，Hive是Hadoop之上的SQL层抽象。我可以使用Sqoop将数据导入HDFS，然后使用Hive查询吗？

浏览 10提问于2014-10-13得票数 4

回答已采纳

3回答

我计划使用一个使用Hadoop、Hive和Impala的堆栈来分析大数据。我已经准备好了设置，现在我正在尝试从MySQL表中导入数据。表大小超过500 GB，我计划使用Sqoop，如下所示： sqoop import --connect jdbc:mysql://remote_host_ip/database_name --usernameuser_name -P --table table_name --hive-import --com

浏览 26提问于2016-08-24得票数 1

1回答

如何将HDFS输出存储到MySQL表中？

mysql、mapreduce、hdfs

我在存储在HDFS中的dataset上使用了Pig和Hive进行MapReduce操作。现在，我希望将该输出传输到MySQL表中。如何将输出传输到MySQL？

浏览 0提问于2018-04-28得票数 0

回答已采纳

2回答

从多个mysql表到hadoop map-reduce的数据

java、mysql、hadoop、mapreduce

我们有以下场景：a)我们可以使用连接查询作为映射流程的输入，或者 b)我们可以通过制作简单的jdbc connection并一次又一次地请求数据来读取所需的数据(尽管我不喜欢这样做)。

浏览 0提问于2012-03-02得票数 1

回答已采纳

1回答

如何在不使用sqoop的情况下将数据从mysql本地导入到Hive(大学)？

mysql、hadoop、hive

我在本地系统安装了MySql，并且有employee数据库，我想不使用Sqoop(我没有安装Sqoop的权限)将数据从本地MySQL传输到Hive(大学)，我应该怎么做？

浏览 19提问于2019-02-26得票数 0

2回答

是否通过sqoop将数据从配置单元hadoop保存到mysql？

mysql、hadoop、hive、sqoop

我将我的数据存储到hive表中。我想使用sqoop将配置单元表选中的数据传输到mysql表。请指导我怎么做？

浏览 1提问于2012-05-17得票数 0

回答已采纳

1回答

如何将MySql表导入到hive中的目标数据库？

hadoop、hive、sqoop

我使用hadoop版本2.6.0和sqoop版本1.4.5。我已经使用以下sqoop命令成功地将一个SQL表- tblSystem导入到hive中：但是，我注意到这个命令将SQL表导入到<

浏览 2提问于2015-05-04得票数 1

回答已采纳

1回答

Dataproc:局部蜂巢转移的主要用例是什么？

google-cloud-dataproc

默认情况下，Dataproc使用主节点上的本地MySQL (图像版本1.5+)数据库作为Hive表元数据存储。使用它的好处和不使用它的缺点是什么？

浏览 2提问于2021-07-15得票数 3

回答已采纳

1回答

MSSQL与KAFKA集成

apache-kafka

我正在尝试使用kafka (实时数据)将数据从MSSQL导入到Hive，其中包含增量和更新的数据。我看到了github的用于mysql到hdfs数据传输的融合平台，但我没有找到用于MSSQL的。谁正在做这个工作，请建议我如何集成MSSQL和kafka？

浏览 27提问于2016-09-26得票数 1

2回答

蜂巢中的编码列

hadoop、hive、sqoop

我正在使用Sqoop从mysql导入一个表到hive。有些列是latin1编码的。有没有办法这样做：将这些列的编码设置为latin1。

浏览 1提问于2013-03-26得票数 2

回答已采纳

2回答

何时使用Sqoop -创建-蜂窝表

hive、sqoop

有人能分辨出create-hive-table和hive-import方法的区别吗？两者都会创建一个蜂巢表，但每个表的意义究竟是什么？

浏览 1提问于2015-07-20得票数 5

1回答

根本原因: java.lang.ClassNotFoundException : com.mysql.jdbc.Driver使用-详细的堆栈跟踪详细。

mysql、hadoop、hive、centos6.8

我以前安装过jdk-10.0.1、和MySQL。他们成功地工作了。然而，当我试图格式化matadata存储库时，发生了以下错误： Metastore Connection Driver :

浏览 0提问于2018-05-24得票数 2

2回答

仅列出默认DB。

apache-spark、hadoop、hive、cloudera、cloudera-manager

当我试图通过星火列出所有的蜂巢数据库时(1.6)tdf: org.apache.spark.sql.DataFrame= [result: string]+-------++-------++-------+OK def

浏览 1提问于2018-07-02得票数 3

回答已采纳

1回答

错误[main]枚举:导入失败:没有枚举常量org.apache.hadoop.mapreduce.JobCounter.MB_MILLIS_MAPS

mysql、mapreduce、sqoop、hadoop2

我使用的是Hadoop 2.7.1版本sqoop 1.4.6和java 1.8。所有的守护进程都运行正常。当我使用sqoop import时，我得到下面的错误。sqoop import --bindir ./ --connect jdbc:mysql://localhost/mydb --username root --password yashu123 --Consider using -P instead. 2017-02-07 10:30:00,349 INFO [main] manager.MySQLMana

浏览 27提问于2017-02-07得票数 0

3回答

sqoop与hdfs命令

mysql、hadoop、hdfs、sqoop

据我所知，Sqoop命令用于将数据从MySql等数据库导入到HDFS，反之亦然；HDFs命令用于处理HDFS中的数据，例如从HDFS获取数据到本地文件系统，反之亦然。我们不能使用sqoop命令来处理HDFS中的数据-从本地文件系统获取数据到hdfs，反之亦然。请告诉我Sqoop和HDFS命令之间的确切区别。为什么我们有两个不同的东西。

浏览 0提问于2017-01-29得票数 0

2回答