专栏首页岑玉海sqoop 常见错误以及处理方式

sqoop 常见错误以及处理方式

Oracle: Connection Reset Errors 错误代码

11/05/26 16:23:47 INFO mapred.JobClient: Task Id : attempt_201105261333_0002_m_000002_0, Status : FAILED java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLRecoverableException: IO Error: Connection reset at com.cloudera.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:164) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:605) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:322) at org.apache.hadoop.mapred.Child$4.run(Child.java:268) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1115) at org.apache.hadoop.mapred.Child.main(Child.java:262) Caused by: java.lang.RuntimeException: java.sql.SQLRecoverableException: IO Error: Connection reset at com.cloudera.sqoop.mapreduce.db.DBInputFormat.getConnection(DBInputFormat.java:190) at com.cloudera.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:159) ... 9 more

这个问题的产生原因是由于缺少一个生成随机数的设备 找到 $JAVA_HOME/jre/lib/security目录下的java.security文件 修改securerandom.source=file:/dev/../dev/urandom Oracle: Case-Sensitive Catalog Query Errors 下面是错误代码

1/09/21 17:18:49 INFO manager.OracleManager: Time zone has been set to GMT 11/09/21 17:18:49 DEBUG manager.SqlManager: Using fetchSize for next query: 1000 11/09/21 17:18:49 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM addlabel_pris t WHERE 1=0 11/09/21 17:18:49 DEBUG manager.OracleManager$ConnCache: Caching released connection for jdbc:oracle:thin: 11/09/21 17:18:49 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException java.lang.NullPointerException at com.cloudera.sqoop.hive.TableDefWriter.getCreateTableStmt(TableDefWriter.java:148) at com.cloudera.sqoop.hive.HiveImport.importTable(HiveImport.java:187) at com.cloudera.sqoop.tool.ImportTool.importTable(ImportTool.java:362) at com.cloudera.sqoop.tool.ImportTool.run(ImportTool.java:423) at com.cloudera.sqoop.Sqoop.run(Sqoop.java:144) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:180) at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:219) at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:228) at com.cloudera.sqoop.Sqoop.main(Sqoop.java:237)

解决方式:用户名和表名全用大写 Oracle: ORA-00933 error (SQL command not properly ended) 如果没有指定的话,sqoop会默认使用oracle.jdbc.OracleDriver Omit选项 --driver oracle.jdbc.driver.OracleDriver 然后重新提交 MySQL: Import of TINYINT(1) from MySQL behaves strangely jdbc会把tinyint(1)认为是java.sql.Types.BIT,然后sqoop就会转为Boolean了,悲剧吧 解决方法:在连接上加上一句话tinyInt1isBit=false jdbc:mysql://localhost/test?tinyInt1isBit=false 另一种解决方式是 hive使用 --map-column-hive foo=tinyint 非hive使用--map-column-java foo=integer

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • sqoop 兼容性问题

    --direct 只支持mysql 5.0 + 和postgresql 8.3+(只是import) jdbc的jar包需要放在$SQOOP_HOME/lib目...

    岑玉海
  • sqoop 从sqlserver2008 导入数据到hadoop

      今天终于开始上手导入数据到hadoop了,哈哈,过程蛮崎岖的,和官方文档的还不太一样。   OK,let's go!试验对象是我第一个名为ST_Statis...

    岑玉海
  • sqoop 常用命令整理(二)

      26.Validate 它用来比较源数据和目标数据的数量 它有三个接口 Validator. 它有三个接口 Validator. Property: ...

    岑玉海
  • Spring Boot Redis Cluster 实战干货

    尝试往redis写数据的时候,报不能获取连接异常,跟踪了半天代码,发现连接的是127.0.0.1,而不是配置的192.168.1.8,这就奇怪了,继续跟踪代码发...

    Java技术栈
  • 大数据技术之_12_Sqoop学习_Sqoop 简介+Sqoop 原理+Sqoop 安装+Sqoop 的简单使用案例+Sqoop 一些常用命令及参数

      Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递,可...

    黑泽君
  • Element 表格导出为Excel表格

    在页面点击导出按钮时可以正常导出,但是如果左边有固定的列,相同的数据会导出2遍,可以做如下修改:

    tianyawhl
  • Java代码质量检查

    又搞一边质量扫描插件,之前做过一遍,然后后面各种忽略,然后就放弃了,所以,应该寻找一种方法,循序渐进的实施。本次将实施一个基本的打包扫描方案,包含

    Ryan-Miao
  • 【求职编程语言榜单】Java第一,Python、JS名列前茅!

    全球最大的在线求职搜索公司Indeed,根据2018年科技软件类别三个月(5月18日-8月18日)以来的求职列表,对各公司招聘信息中的编程语言要求进行了排名。

    新智元
  • Storm客户端提交任务失败原因分析

    囚兔
  • 人才数字发展转型(2)

    在进行了数字化学习平台的引入后,接下来的问题就是平台的运营,以及平台如何结合线下的学习助推公司的人才发展和战略支持。首先我们面对的是平台内容的生成问题。

    王佩军

扫码关注云+社区

领取腾讯云代金券