腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
闵开慧
专栏作者
举报
237
文章
387270
阅读量
51
订阅数
订阅专栏
申请加入专栏
全部文章
hadoop
java
其他
ubuntu
云数据库 SQL Server
eclipse
数据库
apache
jdk
php
linux
hive
windows
centos
hbase
mapreduce
sql
django
编程算法
存储
jvm
jquery
shell
python
xml
html
windows server
安全
svn
tomcat
分布式
大数据
jsp
json
ajax
yarn
缓存
spark
ssh
javascript
servlet
css
struts
maven
spring
开源
grep
kerberos
struts2
bash
.net
scala
node.js
android
ide
api
unix
人工智能
express
运维
正则表达式
yum
dns
jdbc
hashmap
tcp/ip
rabbitmq
数据处理
https
nat
云计算
for循环
table
搜索文章
搜索
搜索
关闭
spark出现GC overhead limit exceeded和java heap space
spark
java
yarn
jvm
hadoop
spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大 export SPARK_EXECUTOR_MEMORY=6000M export SPARK_DRIVER_MEMORY=7000M 注意,此两个参数设置需要注意大小顺序: SPA
闵开慧
2018-04-02
4.3K
0
spark on yarn提交任务时一直显示ACCEPTED
spark
yarn
shell
hadoop
spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。注:spark on yarn是不需要启动spark集群的,只需要在提交任务的机器配置spark就可以了,因为任务是由hadoop来执行的,spark只负责任务的提交。 任务提交命令为 bin/spark-submit --class org.apache.spark.examples.JavaWordCount\ --mas
闵开慧
2018-04-02
3.6K
0
spark使用zipWithIndex和zipWithUniqueId为rdd中每条数据添加索引数据
spark
spark的rdd中数据需要添加自增主键,然后将数据存入数据库,使用map来添加有的情况是可以的,有的情况是不可以的,所以需要使用以下两种中的其中一种来进行添加。 zipWithIndex def zipWithIndex(): RDD[(T, Long)] 该函数将RDD中的元素和这个元素在RDD中的ID(索引号)组合成键/值对。 scala> var rdd2 = sc.makeRDD(Seq("A","B","R","D","F"),2) rdd2: org.apache.spark.rdd.RDD[
闵开慧
2018-03-30
4.4K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档