使用Oozie和Sqoop将数据从HiveQL导出到MySQL

文章/答案/技术大牛

发布

1回答

mysql、export、hiveql、sqoop、oozie

我在配置单元中有一个表(定期更新)，我希望在我的一个具有MySQL数据库的工具中拥有该表。我不能简单地将我的应用程序连接到配置单元数据库，所以我想将这些数据直接导出到MySQL数据库中。我搜索了一下，发现使用Sqoop是可行的，而且我被告知要使用Oozie，因为我想定期更新表并导出它。我已经环顾了一段时间，尝试了一些东西，但到目前为止我还不能成功，我就是不明白我在做什么。到目前为止，我能理解但不能

浏览 18提问于2019-05-27得票数 1

1回答

sqoop作业将数据导出到mysql，100%停留在map，状态为正在运行

mysql、hadoop、sqoop、oozie、impala

所以我试着用sqoop将数据从impala导出到mysql中，这是由oozie job.But安排的，当第一个sqoop动作开始时，它停留在map100%，而reduce 0%.and则填充了所有其他动作奇怪的是，在我终止这个oozie作业之前，mysql中没有数据，但在我终止它之后，数据出现在mysql表中(只有与第一个阻塞的sqoop操作相关

浏览 1提问于2017-03-21得票数 1

5回答

通过oozie导出sqoop失败

hadoop、sqoop、oozie

我正在尝试通过sqoop将数据从hdfs导出到mysql。我可以通过shell运行sqoop，它工作得很好。但是当我通过oozie调用时。它是在以下错误和获取失败后出现的。我还包括了jars。没有沉淀性日志export --connect jdbc:mysql://localhost/bigdata --username root --passwo

浏览 0提问于2012-07-19得票数 2

7回答

Sqoop:无法加载mysql驱动程序异常

mysql、hadoop、hive、sqoop

我在本地机器上安装了Sqoop。下面是配置信息。: Hadoop 1.0.3Version: hive 0.11.0 version: mysql-connector-java-5.1.29 Sqoop：在完成所有安装之后，我在mysql中创建了一个名为practice_

浏览 5提问于2014-03-30得票数 5

回答已采纳

1回答

按照建议更新了shell脚本代码:在替换值时，需要知道"sed“的命令

linux、shell、sed、workflow、oozie

我创建了一个包装器，用于通过shellscript中的Oozie使用sqoop将数据从mysql移动到hdfs。我有一个包含源数据库、要导入的表和hdfs输出目录的"InputFile“，"Shell_Script.sh”中的“while-loop”从该目录读取并检查sourceDB，如果是' Mysql‘，则在无法加载数据库驱动程序类: generi

浏览 10提问于2017-02-23得票数 0

回答已采纳

4回答

Apache和Hive的区别。我们能一起用吗？

hadoop、hive、sqoop

Apache和Hive有什么区别？我知道sqoop用于将数据从RDBMS导入/导出到HDFS，Hive是Hadoop之上的SQL层抽象。我可以使用Sqoop将数据导入HDFS，然后使用Hive查询吗？

浏览 10提问于2014-10-13得票数 4

回答已采纳

4回答

Oozie + Sqoop: JDBC驱动程序Jar位置

hadoop、dependencies、cloudera、sqoop、oozie

我有一个基于6节点cloudera的hadoop集群，我正在尝试从oozie中的sqoop操作连接到oracle数据库。lib/sqoop/lib/ )，并且已经验证了我可以从所有6个节点运行一个简单的'sqoop eval‘。现在，当我使用Oozie的sqoop操作运行相同的命令时，我得到“无法加载db驱动程序类: oracle.jdbc.OracleDriver” 我读过关

浏览 0提问于2013-04-13得票数 6

回答已采纳

4回答

不能通过-kill命令杀死oozie作业

hadoop、hbase、distributed-computing、oozie

我想杀了一个像这样的协调员工作：我熟练地分了几个工作，然后部署了新代码更新到oozie上，开始了新的工作。由于旧的工作无法被淘汰，现在有许多具有相同项目“运行”在Oozie上的作业。我可以杀了以前的工作，但现在

浏览 4提问于2013-09-24得票数 1

回答已采纳

1回答

主类[org.apache.oozie.action.hadoop.SqoopMain]，出口代码[1]

oozie、sqoop、cloudera-cdh

当我试图在ClouderaCDH-5.3中运行sqoop工作流时，它给出了以下错误但仍然会出现上述错误。

浏览 2提问于2016-03-29得票数 0

2回答

使用Oozie执行Sqoops

hadoop、sqoop、oozie

我有两个将数据从HDFS加载到MySQL的Sqoops。我想用Oozie来执行它们。我已经看到Oozie是一个XML文件。我如何配置它才能执行这些Sqoop？带步骤的演示会受到欢迎吗？两个Sqoop是：sqoop export --connect jdbc:mysql://localhost/hduser --table foo1 -m 1 --export-dir /

浏览 0提问于2014-04-02得票数 6

回答已采纳

2回答

如何将Hbase表导出到MySql表

mysql、hbase、sqoop

我正在尝试使用sqoop将Hbase表导出到mysql表。以下是我的查询：> --connect jdbc:mysql://mysqlserver_ip:3306/mysqldb > -mysqltbl > --export-dir hostname:60030/hbase&#

浏览 3提问于2013-07-09得票数 1

1回答

Sqoop失败，错误消息[java.lang.ClassNotFoundException: org.apache.oozie.action.hadoop.SqoopMain类未找到]

hadoop、hdfs、sqoop、oozie

我试图通过创建oozie工作流，使用sqoop将mysql表导入到hdfs。我在oozie sharelib中复制了mysql连接器，即另外，我复制了我的sqoop导入文件夹，其中包含job.properties和workflow.xml文件

浏览 0提问于2016-06-16得票数 0

1回答

关于Oozie/Sqoop的问题

hadoop、sqoop、oozie

Why is there MapReduce process in Sqoop to load data from HDFS to MySQL? 数据在HDFS目录：/foo/bar中。要在MySQL条形表中加载数据，为什么有一个MapReduce进程？sqoop export --connect jdbc:mysql://localhost/hduser --table foo -m 1 --export-d

浏览 3提问于2014-04-07得票数 1

回答已采纳

1回答

sqoop用户定义函数

hadoop、sqoop

apache sqoop1或sqoop2是否支持用户定义的函数？我们有一个场景，其中数据在HDFS中，并且希望从HDFS中的记录中提取数据元素并插入到RDBMS中。

浏览 1提问于2014-06-19得票数 0

1回答

Oozie作业失败了

hadoop、hdfs、sqoop、oozie

我正在尝试运行一个简单的Oozie作业，使用Sqoop从本地MySQL数据库中提取数据。"/> <sqoop xmlns="uri:oozie:sqoop-action:0.2"> <job-tracker>://h

浏览 1提问于2016-10-02得票数 1

1回答

Hadoop - Cloudera MRV1集群规划-理想集群的最小节点数是多少，它看起来如何？

hadoop、cluster-computing、cloudera

MetaStore HCatalog, HiveServer (Or is it better我已经为我的Hive数据库和Oozie数据库使用了相同的MySQL实例，并认为这可以再做一次。我还计算出HiveServer和Oozie服务器可以与Hive/Oozie</em

浏览 4提问于2014-01-06得票数 0

2回答

使用Sqoop连接Hive和Oracle数据库

hadoop、cloudera、sqoop

是否可以使用Sqoop将数据从配置单元导出到Oracle DB以用于报告目的，因为我不想在客户端应用程序中进行任何更改。致敬，Bhagwant Bhobe

浏览 1提问于2013-12-17得票数 1

1回答

来自MySQL的sqoop，其中数据包含回车返回

mysql、hive、sqoop

MySQL数据库是我无法控制的生产环境的一部分，因此我无法使用简单的update mytable set mycol = trim(mycol);删除尾部回车。当我将sqoop表放到集群中时，我注意到带有回车返回的记录最终出现了对齐错误，从而产生了一些奇怪的查询结果。sqoop (v1.4.4)命令如下所示： --connect jdbc:mysql://myhost:3306/myd

浏览 3提问于2014-11-10得票数 1

回答已采纳

1回答

Oozie工作流由于错误JA017而失败

hadoop、mapreduce、sqoop、oozie

我使用的是Apache 4.3.0的版本以及Hadoop 2.7.3 <action name="sqoopAction"> <sqoop xmlns="uri:oozie:sqoop-action:0.2

浏览 0提问于2017-04-15得票数 2

回答已采纳

1回答

sqoop能否将blob类型从HDFS导出到Mysql？

sqoop

Sqoop能否将blob类型从HDFS导出到Mysql？我有一个具有blob类型列的表，我可以将其导入HDFS，但当将其导回时会引发异常： at org.apache.sq

浏览 0提问于2015-06-04得票数 0

点击加载更多