EMR 开发指南

产品动态

最近更新时间:2021-10-19 09:59:08

2021年09月

动态名称 动态描述 发布时间 相关文档
新增监控指标 丰富 Alluxio 服务监控指标,新增 CosRanger 监控指标 2021-09-15 Alluxio 监控指标
COSRanger 监控指标
接入云监控默认告警 云监控支持弹性 MapReduce 指标/事件默认告警策略 2021-09-15 -

2021年08月

动态名称 动态描述 发布时间 相关文档
新增 Yarn 资源调度 提供界面化的 Yarn 的资源调度的配置能力 2021-08-31 Yarn 资源调度
新增用户管理 提供可视化的 Kerberos 和 Ranger 用户管理能力 2021-08-31 用户管理

2021年07月

动态名称 动态描述 发布时间 相关文档
新增 hadoop 集群版本 EMR-V2.6.0 新增 Hadoop2.x 标准发行版 EMR-V2.6.0,支持 Spark 3.0.2、Impala 3.4.0、Goosefs 1.0.0、OpenLDAP 2.4.44、Kyuubi 1.1.0 等 2021-07-15 组件版本

2021年06月

动态名称 动态描述 发布时间 相关文档
新增 Yarn 作业查询 提供 Yarn 作业的明细指标统计 2021-06-24 Yarn 作业查询
新增 Impala 查询管理 提供 Impala 的查询作业的明细指标统计 2021-06-24 Impala 查询管理
自动伸缩支持竞价实例 通过自动伸缩,弹性补充计算节点支持竞价实例计费类型 2021-06-03 自动伸缩
支持优雅缩容 节点在执行任务时,缩容触发时不会立即释放节点,在等待任务执行完成后进行缩容节点 2021-06-03 优雅缩容
Knox 支持集成 TEZ 支持 tez 任务使用 ui 查看 2021-06-03 Knox 集成 TEZ 操作指南
新增可用区 支持新加坡地域三区和东京二区 2021-06-03 -
国际站新增地域 国际站支持:莫斯科、法兰克福、弗吉尼亚、曼谷、孟买、东京、多伦多、首尔等 2021-06-03 -

2021年05月

动态名称 动态描述 发布时间 相关文档
新增 Kafka 集群版本 Kafka-V1.0.0 新增 KAFKA 标准发行版 KAFKA-V1.0.0,支持 Kafka1.1.1、KafkaManager2.0.0.2、Knox1.2.0、Zookeeper3.6.1 2021-05-13 Kafka 开发指南
新增 Doris 集群版本 Doris-V1.0.0 新增 DORIS 标准版发行版 DORIS-V1.0.0,支持 Doris0.13.0、Knox1.2.0 2021-05-13 Doris 开发指南

2021年04月

动态名称 动态描述 发布时间 相关文档
新增 hadoop 集群版本 EMR-V3.2.0 新增 Hadoop3.x 标准发行版 EMR-V3.2.0,支持 hadoop3.2.2、Spark3.0.2、presto350、Flink1.12.1、Alluxio2.5.0、Ranger2.1.0、iceberg0.11.0、hudi0.7.0 2021-04-30 组件版本
启停服务 支持单节点上启停全部服务 2021-04-27 启停服务
新增 Hadoop 集群版本 EMRv2.5.1 新增 Hadoop2.x 标准版发行版 EMR-V2.5.1,支持 alluxio2.5.0、hudi0.5.1,alluxio 支持 cos 透明 URI 2021-04-10 Alluxio 支持 COS 透明 URI

2021年03月

动态名称 动态描述 发布时间 相关文档
集群恢复 包年包月计费类型集群在隔离状态支持续费恢复集群 2021-03-17 集群恢复

2021年02月

动态名称 动态描述 发布时间 相关文档
新增境外地域开服 中国站境外地域新增曼谷、首尔、东京、弗吉尼亚、多伦多地域开服 2021-02-02 -

2021年01月

动态名称 动态描述 发布时间 相关文档
新增集群脚本功能 支持批量选择节点运行指定脚本,以便高效进行批量运维操作 2021-01-26 集群脚本
支持跨机型变配 在节点配置变更时,可以选择其它机型,满足当前机型售罄场景的变配需求 2021-01-26 变更配置
自动伸缩 根据预设策略自动增加或减少 Task 节点,在满足集群计算能力的同时并节约成本 2021-01-26 自动伸缩
新增监控指标
  1. hdfs、yarn、hbase、hive、druid 服务监控指标丰富
  2. kudu、alluxio 新增服务监控
2021-01-13 监控指标
新加坡国际站开服 新加坡一区、新加坡二区支持国际站购买 2021-01-13 -

2020年12月

动态名称 动态描述 发布时间 相关文档
新增 hadoop 集群版本 EMRv3.1.0 新增 Hadoop3.x 标准发行版 EMR-V3.1.0,支持 impala3.4.0、flink1.10.0、hbase2.3.3、Phoenix5.0.0、alluxio2.3.0、kudu1.13.0、zookeeper3.6.1 2020-12-14 组件版本

2020年11月

动态名称 动态描述 发布时间 相关文档
新增 EMR 天穹版本 腾讯增强版 Hadoop 集群发行版天穹上线,主要推出 Spark 物化视图能力 2020-11-27 组件版本
EMR 天穹版本介绍
监控告警完善
  • 磁盘监控指标支持在云监控设置告警
  • 支持在云监控 DashBoard 自定义 EMR 监控面板
  • 支持在云监控订阅 EMR 事件监控告警
  • 2020-11-20 DashBoard

    2020年10月

    动态名称 动态描述 发布时间 相关文档
    支持对象存储 COS 免密访问 通过角色授权方式对 COS 的访问,无需填写授权 key 和密钥,提升易用性。 2020-10-26 -
    巡检系统新增服务巡检项 新增 hdfs、yarn、hbase、hive、zookeeper 服务巡检项,提升指标的健康检查 2020-10-13 集群巡检
    支持自定义配置事件策略 支持自定义配置事件策略,提升集群事件发现自主性 2020-10-13 集群事件

    2020年09月

    动态名称 动态描述 发布时间 相关文档
    新增 hadoop 集群版本 EMRv2.5.0 升级 Alluxio 组件至稳定版本2.3.0,优化 Alluxio 在计算存储分离场景下性能 2020-09-17 组件版本

    2020年08月

    动态名称 动态描述 发布时间 相关文档
    新增 hadoop 集群版本 EMRv2.4.0 新增支持 KUDU 组件,部分组件升级 2020-08-27 组件版本
    ClickHouse 支持数据迁移 提升集群资源利用率,保证数据安全2020-08-17 ClickHouse 数据迁移指引

    2020年07月

    动态名称 动态描述 发布时间 相关文档
    自定义配置文件 支持自定义配置文件,提升配置管理的灵活性2020-07-29 配置管理
    配置项编辑优化 配置项增加提示,并支持恢复默认值 2020-07-29 -

    2020年06月

    动态名称 动态描述 发布时间 相关文档
    新增 Druid 服务监控和 Hbase thrift 角色监控 新增 Druid 服务监控、Hbase thrift 角色监控,提升问题排查效率2020-06-15 Druid 监控指标
    新增 hadoop 集群版本 EMRv2.3.0 新增支持 Tensorflow 和 Jupyter Notebook 组件 2020-06-15 Tensorflow 简介
    Jupyter Notebook 简介
    Clickhouse 类型集群新增发行版 clickhouse-v1.1.0 Clickhouse 组件版本升级至 LTS 版本,新增支持 superset 组件2020-06-15 -
    支持集群事件和集群巡检 控制台支持记录集群发生的关键变化事件或异常事件,提升集群排障效率。支持集群设置及时巡检或定期巡检任务,便于掌握集群健康情况,及时对异常或风险点进行处理 2020-06-04 集群事件
    集群巡检

    2020年05月

    动态名称 动态描述 发布时间 相关文档
    控制台交互展示与操作路径优化 操作路径层级更加清晰,提升服务管理的易用性 2020-05-15 -
    支持 ClickHouse 集群服务监控 便于掌握 ClickHouse 运行状况2020-05-15 ClickHouse 监控指标
    角色管理新增监控状态 以便于了解角色进程实时状态 2020-05-15 -

    2020年04月

    动态名称 动态描述 发布时间 相关文档
    新增集群类型 新增 ClickHouse 集群以及 druid 集群,提供更丰富的实时查询解决方案 2020-04-15 ClickHouse 简介
    Druid 简介
    引导操作优化 引导操作增加集群启动前执行时机,并支持集群创建成功后调整引导操作,以便于业务变化后优化引导操作2020-04-15 -
    服务重启策略优化 服务重启支持设置重启策略,便于选择恰当的重启方式以及重启异常处理策略 2020-04-15 -

    2020年03月

    动态名称 动态描述 发布时间 相关文档
    集群监控页面优化 优化集群概览、服务监控、节点监控页面,增强可读可用性;监控指标支持自定义和节点热点图功能 2020-03 -
    新增日志搜索功能 可根据日志文件、节点 IP 和时间范围条件过滤,查看集群日志内容(当前仅支持广州地域)2020-03 日志搜索
    新增发行版 EMR-V2.2.0 Hadoop 版本升级至2.8.5版本,spark、hive、hbase 等常用组件升级,新增 hudi、superset、livy、impala、zeppelin、kylin 组件 2020-03 组件版本

    2020年02月

    动态名称 动态描述 发布时间 相关文档
    Hive 元数据库共享 选择 Hive 组件时,支持选择关联外部 Hive 元数据库存放新集群的 Hive 元数据,以使多个 Hive 集群可共享同一元数据,实现多个集群数据交换2020-02 Hive 元数据管理
    集群操作日志优化 丰富集群操作日志展示项,提升操作日志可读性2020-02 -
    国际站版本上线 国际版地域支持北京、上海、广州、孟买2020-02 -

    2020年01月

    动态名称 动态描述 发布时间 相关文档
    EMR 支持云硬盘加密 EMR 支持 cbs 白名单用户在创建 EMR 集群时选择云硬盘加密功能2020-01 云硬盘加密
    TASK 节点支持挂载多云盘 创建或扩容集群时,task 节点支持挂载云盘2020-01 -
    开放南京地域 EMR 新增支持南京地域2020-01 -

    2019年12月

    动态名称 动态描述 发布时间 相关文档
    新增配置分组下发功能 配置分组下发即当配置组中存在节点配置与当前配置组配置不一致时,将配置组配置下发到配置不一致的节点2019-12 -
    CAM 资源级授权 支持 CAM 资源级授权2019-12 -
    上线关联 CHDFS 功能 支持关联 CHDFS,可读写 CHDFS 上的数据2019-12 挂载云 HDFS
    支持 AMD 机型 北上广地域支持 AMD 机型标准型 SA22019-12 标准型 SA2
    新增集群监控概览页 集群监控概览页,提供集群状态、节点及服务状态整体视图2019-12 集群概览
    服务监控页支持按需选择指标展示粒度 优化服务监控页,指标展示粒度可按需选择2019-12 -
    节点监控页增加节点服务部署和负载状态视图 优化节点监控页,增加节点服务部署状态、负载状态视图2019-12 -

    2019年11月

    动态名称 动态描述 发布时间 相关文档
    新增节点规格管理 节点规格管理,根据计费类型设置不同节点类型的默认规格,默认为按量计费规格,可切换配置包年包月规格2019-11 设置节点规格
    配置管理支持 zookeeper、alluxio、flink 组件 配置管理支持 zookeeper、alluxio、flink 组件2019-11 -
    上线对集群及集群下节点分配标签 支持对集群及集群下节点分配标签2019-11 设置标签
    北上广地域新机型 北上广地域支持 S5、M5、C3、CN3 机型2019-11 -

    2019年10月

    动态名称 动态描述 发布时间 相关文档
    新增 EMR-V3.0.0 版本 新增 EMR-V3.0.0 版本,同时升级相关主要的组件版本2019-10 组件版本

    2019年09月

    动态名称 动态描述 发布时间 相关文档
    云 API 全量支持3.0版本 云 API 全量支持3.0版本,规范原已提供部分3.0版本 API 接口的出/入参数、以及在3.0版本中全量支持原2.0版本接口2019-09 -
    控制台修改配置 取消对特殊字符转义功能2019-09 -
    支持云监控配置告警策略 节点监控和服务监控关键指标支持在云监控(弹性 MapReduce 产品类别下)配置告警策略2019-09 -

    2019年08月

    动态名称 动态描述 发布时间 相关文档
    新增软件配置功能 新增软件配置功能支持自定义组件参数创建集群,同时兼容访问外部集群功能2019-08 软件配置
    新购集群时,远程登录端口可自行设置 新购集群过程中支持自主开启/关闭远程登录端口2019-08 -
    新购集群支持多云盘挂载 对于新购集群可支持多云盘挂载功能2019-08 -
    上线指定组件扩容功能 支持指定组件扩容功能,可实现对指定组件的扩容2019-08 -
    增加组件监控指标 新增 Spark、Hive、Presto、Zookeeper 组件监控指标2019-08 -

    2019年07月

    动态名称 动态描述 发布时间 相关文档
    上线 Hbase 表级监控功能 支持对 Hbase 的表级监控, 提供了 HBASE 中各表的读写请求数以及表存储情况的监控。2019-07 Hbase 表级监控
    EMR 支持新地域 支持新加坡、孟买、成都地域2019-07 -
    支持新机型 北上广地域支持机型标准型 S4、标准网络优化 SN3ne2019-07 -
    监控页面交互优化,并新增部分监控指标 监控页面交互优化,并新增部分监控指标2019-07 -
    优化 WebUI 代理地址 WebUI 代理地址优化2019-07 -

    2019年06月

    动态名称 动态描述 发布时间 相关文档
    上线访问外部集群功能 支持访问外部集群功能,可实现对外部集群的访问 2019-06 -
    上线设置引导操作功能 支持设置引导操作功能,可在配置集群时设置 2019-06 引导操作
    上线组件参数配置下发支持到节点维度功能 组件参数配置下发支持到节点维度 2019-06 -
    上线参数配置回滚功能 支持参数配置回滚,可实现对配置参数的回滚还原 2019-06 配置回滚

    2019年05月

    动态名称 动态描述 发布时间 相关文档
    发布 EMR2.1.0 版本 新增 EMR 2.1.0 版本,相关主要组件版本升级 2019-05 组件版本
    上线 Kerberos 安全集群 支持创建安全类型集群,即集群中的开源组件以 Kerberos 的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,例如 HDFS) 2019-05 Kerberos 简介
    监控指标优化 节点、HDFS、YARN、Hbase 监控指标 2019-05 监控指标
    优化控制台样式 控制台样式升级,提升交互体验 2019-05 -
    优化 CVM 与 TencentDB 命名 CVM 与 TencentDB 命名带 EMR 集群序列号,以便对应集群信息 2019-05 -
    Master 节点外网 IP 改为可选 更新 Master 节点的外网 IP 为可选 2019-05 -
    上线 Common 节点数量可调节功能 支持 Common 节点数量可按需调节 2019-05 -

    2019年03月

    动态名称 动态描述 发布时间 相关文档
    支持新机型 北上广地域支持 I3 机型,I3 机型是 CVM 白名单机型,需要相关账户为 I3 机型白名单才可购买 2019-03 -
    支持新地域 开放对硅谷地区售卖 2019-03 -
    支持 Router 节点 Router 节点主要用于缓解主节点负载和用作任务提交机 2019-03 节点类型
    增加节点的配置变更功能 支持节点的配置变更,可更改为更高的配置 2019-03 变更配置

    2019年01月

    动态名称 动态描述 发布时间 相关文档
    对已有集群添加新组件 对于已创建的集群,增加新增组件功能 2019-01 新增组件
    目录