腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT杂记

本专栏记录了本人在IT方面的各个领域的学习笔记或是遇到问题的解决思路和方法，等等..

专栏作者

55

文章

106498

阅读量

33

订阅数

通过Java程序提交通用Mapreduce无法回收类的问题

问题描述上次发布的博客通过Java程序提交通用Mapreduce，在实施过程中发现，每次提交一次Mapreduce任务，JVM无法回收过程中产生的MapReduceClassLoader对象以及其生成的类。通过定制如下代码来实现多次任务提交测试： public class JobSubmitTest { public static void submit(String classPath, String mainClassName) { ClassLoader originC

2018-03-29

9971

Mapreduce 任务提交源码分析1

mapreduce hadoop 大数据

提交过程一般我们mapreduce任务是通过如下命令进行提交的 $HADOOP_HOME/bin/hadoop jar $MR_JAR $MAIN_CLASS hadoop脚本中有如下代码 elif [ "$COMMAND" = "jar" ] ; then CLASS=org.apache.hadoop.util.RunJar //... 略 exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@" 可以看到hadoop命令提

2018-02-08

1K0

Hadoop SequnceFile.Writer 压缩模式及压缩库浅析

数据处理大数据

先说明SequnceFile的压缩类型（Compression Type）分为三种NONE，RECORD，BLOCK，通过配置项io.seqfile.compression.type指定： NONE, Do not compress records 即不压缩 RECORD, Compress values only, each separately. 每条记录都对value进行一次压缩 BLOCK, Compress sequen

2018-02-08

7330

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态