学习
实践
活动
专区
工具
TVP
写文章

Java heap space

作业的运行机制是:在jobtracker接到客户端来的job提交后,将许多的task分配到集群中各个tasktracker上进行分块的计算,而根据代码中的逻辑可以看出,其实是在tasktracker上启了一个java 进程进行运算,进程中有特定的端口和网络机制来保持map 和reduce之间的数据传输,所以,这些OOM的错误,其实就是这些java进程中报出了OOM的错误。 知道了原因以后就好办了,hadoop的mapreduce作业启动的时候,都会读取jobConf中的配置(hadoop-site.xml),只要在该配置文件中将每个task的jvm进程中的-Xmx所配置的java 进程的max heap size加大,就能解决这样的问题: <property>    <name>mapred.child.java.opts</name>    <value>-Xmx1024m 默认为1000M 有时在eclipse中叶需要修改,具体如下: 原来发现是我查询时limit后面的变量形式不对,详见java中总结的一些重点那片文章)原来只要在eclipse中,Eclipse ->run

51790
  • 广告
    关闭

    热门业务场景教学

    个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    解决项目中java heap space的问题

    起因 17年的一个项目出了OOM(java heap space)问题,眼下有个问题:法院项目,不能外网,一连接外网高院会直接定位到计算机,发出警报(档案的机密性啊)不能远程,那只能视频教他们怎么做了 -XX:PermSize=64M -XX:MaxPermSize=256M 出现异常,然后调大参数-Xms512m -Xmx1024m 没有解决,最后调整到2G 还没有解决 以上均在GUI界面修改java 我的就是一次性加载数据太多,实例化对象太多导致的堆中年轻代和老年代数据占用完, 我复现了一下,堆中出现了一个很高的点,那就是在加载树结构,然后忽然下落,是因为JVM 98% 的时间都用在了GC上,出现了java heap space ,CPU也能直观的看到,垃圾回收活动出现了一个较高的峰值 我们来看一下堆峰值时的数据,创建了300万的ArrayList和TreeVO对象 根据这些,知道了代码中出现的问题 最后释放对象和集合 总结 问题总算解决了,这也是一次难得的真实上手内存的问题,可歌可泣啊 现在的开发人员可以说是上手就能写代码,往往忽视了最重要的基础 看书是必不可少的(因为我最近在看《深入理解java

    20030

    User space 与 Kernel space

    学习 Linux 时,经常可以看到两个词:User space(用户空间)和 Kernel space(内核空间)。 简单说,Kernel space 是 Linux 内核的运行空间,User space 是用户程序的运行空间。为了安全,它们是隔离的,即使用户的程序崩溃了,内核也不受影响。 ? Kernel space 可以执行任意命令,调用系统的一切资源;User space 只能执行简单的运算,不能直接调用系统资源,必须通过系统接口(又称 system call),才能向内核发出指令。 第三行需要写入文件,就要切换到 Kernel space,因为用户不能直接写文件,必须通过内核安排。第四行又是赋值运算,就切换回 User space。 user:程序在 User space 执行的时间 sys:程序在 Kernel space 执行的时间 user和sys之和,一般情况下,应该小于real。

    56550

    shallow heap和retained heap

    在解释这两个名词之前,需要说明一下:JAVA对象大小=对象头+实例数据+对齐填充 shallow heap为对象自身占用的内存大小,不包括它引用的对象的大小 shallow heap 非数组类型的对象的 shallow heap shallow_size=对象头+各成员变量大小之和+对齐填充 其中,各成员变量大小之和就是实例数据,如果存在继承的情况,需要包括父类成员变量 注意:不包含所引用的对象的本身的大小 数组长度+对齐填充,如果是引用类型,则是四字节或者八字节(64位系统), 如果是boolean类型,则是一个字节 注意:这里 类型变量大小*数组长度 就是实例数据,强调是变量不是对象本身 retained heap retained heap大小为对象本身和其所引用的对象大小之和 换个说法就是当前对象被GC后,从Heap上总共能释放掉的内存,强调是GC后能释放的。

    46700

    Java虚拟机的Heap监狱

    作者:刘欣 来源:码农翻身 在Java虚拟机中,我是一个位高权重的大管家,他们都很怕我,尤其是那些Java 对象,我把他们圈到一个叫做Heap的“监狱”里,严格管理,生杀大权尽在掌握。 碰巧我会对Heap中的Java 对象做垃圾回收,这个“堆”总是让我联想到垃圾堆。 Heap监狱 好吧,现在详细说一下我管理的Heap“监狱”。 你可以把它想象成一大片空间,为了方便管理, 我把Heap“监狱”划分成多个区域,然后把那些Java对象在其中搬来搬去。 ? ? 每个在Heap中的Java对象我都会设置一个年龄计数器,每次Java对象熬过一次GC,就把年龄加1, 如果老到一定程度,对不起,请进入养老院(老年代)。 老大还说:“可能你还不知道,除了你的Heap监狱,其实我在Java进程中还有一块儿叫做“Off-Heap内存’的地方,数据就会复制到这里。 为了和你区分开,我把它叫做堆外内存。” ? ?

    27520

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 物联网通信

      物联网通信

      腾讯云物联网通信( IoT Hub)旨在提供一个安全、稳定、高效的连接平台,帮助开发者低成本、快速地实现“设备-设备”、“设备-用户应用”、“设备-云服务”之间可靠、高并发的数据通信……

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券