腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码字搬砖

专栏作者

209

文章

288121

阅读量

32

订阅数

Flink 连接 hive 解决 java.net.UnknownHostException

面向对象编程 node.js hadoop flink 大数据

今天在实验 Flink 连接 hive 的操作，由于 CDH 的 hadoop 是 HA，连接过程中报错如下：

2020-09-28

2.9K0

oozie 提交任务：java.lang.NumberFormatException: For input string "30s"

具体也可以参考一下： HDFS default value change (with adding time unit) breaks old version MR tarball work with new version (3.0) of hadoop 修改方式：将现有的hadoop依赖的版本升级到 hadoop 3.0

2020-03-27

1.5K0

Hbase迁移备份(后续更新)

hbase 数据迁移 apache hadoop mapreduce

Export、Import底层原理是MR，不适合太大量的数据迁移此为跨集群的数据导入，若非跨集群，修改hdfs地址即可导入导出: 目标表的特有数据不会覆盖掉，会保持特有数据的所有特征导出表数据导出表数据 outputdir最好不存在 Export会自动创建命令：hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir> [<versions> [<starttime> <endtime>]]] 例子：

2018-10-24

9140

Spark Insert Hbase解决task not to serializable

spark hbase java apache hadoop

package javasssss; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import

2018-10-24

9720

CDH Disk Balancer 磁盘数据均衡

hadoop json http

由于数据量过多，磁盘大小太小，导致磁盘使用率高达90%以上，于是新增磁盘，可问题来了，如何将这两块磁盘上的数据进行均衡呢？ hadoop在2.X中已经有相应的方法了(具体哪个版本忘了)，本次基于CDH来做

2018-10-24

2.9K0

kylin报错 java.lang.ArrayIndexOutOfBoundsException: -1

java apache hadoop hive

当用kylin做报表时，kylin报错 2017-06-26 14:51:52,523 ERROR [IPC Server handler 3 on 33033] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1498453243500_0032_m_000000_0 - exited : java.lang.ArrayIndexOutOfBoundsException: -1 at org.apache.kylin.engine.mr.steps.FactDistinctHiveColumnsMapper.putRowKeyToHLL(FactDistinctHiveColumnsMapper.java:179) at org.apache.kylin.engine.mr.steps.FactDistinctHiveColumnsMapper.map(FactDistinctHiveColumnsMapper.java:155)

2018-10-24

1.4K0

org.apache.hadoop.mapred.YarnChild: GC overhead limit

apache hadoop yarn jdk hive

hive query 时，报错org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded at org.apache.hadoop.io.Text.setCapacity(Text.java:268) at org.apache.hadoop.io.Text.set(Text.java:224) at org.apache.hadoop.io.Text.set(Text.java:214)

2018-10-24

1.8K0

sqoop连接sqlServer

sql hive hadoop http

背景：最近公司需要把sqlServer的数据导入到hive中方便数据组的同事进行分析。国内资料相对老套，很多资料针对于sqoop1.3及其以下的，所以记录以下，方便后来者。各位看官，开始喽！！！

2018-10-24

2.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态