腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Java进阶之路
专栏作者
举报
68
文章
135004
阅读量
26
订阅数
订阅专栏
申请加入专栏
全部文章
java
大数据
其他
python
编程算法
缓存
node.js
yarn
分布式
jdk
hadoop
jvm
hashmap
安全
javascript
go
数据库
linux
nginx
spring
日志服务
容器
存储
开源
shell
spark
面向对象编程
数据处理
数据结构
负载均衡
php
bash
xml
json
nosql
云数据库 Redis
打包
ide
git
github
api
maven
中文分词
analyzer
unix
apache
bash 指令
TDSQL MySQL 版
海外加速
网站
http
爬虫
网络安全
正则表达式
zookeeper
dubbo
rabbitmq
https
hbase
nat
processing
kafka
flink
key
程序员
函数
搜索文章
搜索
搜索
关闭
Flink内存管理
jvm
flink
大数据
spark
编程算法
自从2003-2006年,Google发表了三篇著名的大数据相关论文(Google FS,MapReduce,Big Table)后,内存问题一直困扰大数据工程师们。
神秘的寇先森
2020-03-20
730
0
spark程序中调用shell脚本
shell
spark
scala直接调用shell脚本是不行的,但是可以利用java调用shell脚本然后在spark代码中引入java代码实现。 参考:java代码调用shell脚本 shell脚本必须在spark的driver端调用,在worker端只能处理数据。因此必须在spark的DAG引擎开始或者结束以及两个job之间调用shell脚本。 根据以上前提,spark执行shell脚本代码只能在以下几个位置: SparkContext创建之前和创建之后但是创建RDD之前。 每一个job的Spark的action函数
神秘的寇先森
2019-03-11
2.4K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档