文档中心 弹性 MapReduce EMR 开发指南 Spark 开发指南 EMR 各版本 Spark 相关依赖说明

EMR 各版本 Spark 相关依赖说明

最近更新时间:2019-11-28 16:49:26

依赖关系

EMR 版本 Spark scala Python R Java
v1.3.1 2.0.2 2.11.x 2.6+/3.4+ 3.1+ 7+
v2.0.1 2.2.1 2.11.x 2.7+/3.4+ 3.1+ 8+
v2.1.0 2.3.2 2.11.x 2.7+/3.4+ 3.1+ 8+
v3.0.0 2.4.3 2.12.x 2.7+/3.4+ 3.1+ 8+

查找方法

  1. 访问官网链接,输入版本号链接模板:
    https://spark.apache.org/docs/{spark.version}/index.html
    {spark.version}替换为对应的 spark 版本,例如查看2.0.2版本的依赖关系,访问链接如下:
    https://spark.apache.org/docs/2.0.2/index.html
  2. 查看依赖