创建 EMR 集群

最近更新时间:2019-08-01 10:34:00

接口描述

本接口(EmrCreateCluster)用于创建一个 EMR 集群。

接口请求域名:emr.api.qcloud.com

  • 用户可以选择安装需要的大数据处理组件。
  • 用户可以选择创建高可用集群和非高可用集群。安装的软件设置会因为是否集群高可用有所不同。
  • 高可用集群最小节点数为 Master 节点2个,Core 节点3个,同时有3个默认的 Common 节点用于部署 zookeeper。非高可用集群最小节点数为1个 Master 节点和2个 Core 节点。
  • 创建集群时可以设置是否集成 COS(腾讯云对象存储服务)。集成 COS 可以通过 hadoop-hdfs 接口读写 COS 的数据文件。同时我们也将定时把安装的组件日常生成的日志文件归档存储到 COS 上。

输入参数

以下请求参数列表仅列出了接口请求参数,正式调用时需要加上公共请求参数,见公共请求参数页面。其中,此接口的 Action 字段为 EmrCreateCluster。

参数名称 是否必选 类型 描述
ProductId Uint EMR 版本 ID
ZoneId Uint 所在地域可用区 ID
VpcId String 创建 EMR 集群所在的私有网络 vpcId,vpc-xxxxx 格式
SubnetId String 创建 EMR 集群的所在的私有网络 subnetId,subnet-xxxx 格式
SoftInfo.n Array String 需要安装的软件包,至少包含 hadoop 和 zookeeper 组件
MasterNodes Uint Master 节点个数
CoreNodes Uint Core 节点个数
TaskNodes Uint Task 节点个数
MasterSpec String Master 节点机器规格,参见 CVM 实例配置
MasterStorageType Uint Master 节点存储类型,1:本地盘,2:云盘,3:SSD 本地盘,默认1
MasterRootSize Uint 单位 GB,Master 节点系统盘容量,默认20G
MasterMemory Uint 单位 MB,Master 节点内存容量
MasterCpuCores Uint Master 节点 CPU 核数
MasterVolume Uint 单位 GB,Master 节点数据盘容量
CoreSpec String Core 节点机器规格,参见 CVM 实例配置
CoreStorageType Uint Core 节点存储类型,1:本地盘,2:云盘,3:SSD本地盘,默认1
CoreRootSize Uint 单位 GB,Core 节点系统盘容量,默认20G
CoreMemory Uint 单位 MB,Core 节点内存容量
CoreCpuCores Uint Core 节点 CPU 核数
CoreVolume Uint 单位 GB,Core 节点数据盘容量
TaskSpec String 若 TaskNodes 不为0,该字段有效。Task 节点机器规格,参见 CVM 实例配置
TaskStorageType Uint 若 TaskNodes 不为0,该字段有效。Task 节点存储类型,1:本地盘,2:云盘,3:SSD本地盘,默认1
TaskRootSize Uint 若 TaskNodes 不为0,该字段有效。单位 GB,Task 节点系统盘容量,默认20G
TaskMemory Uint 若 TaskNodes 不为0,该字段有效。单位 MB,Task 节点内存容量
TaskCpuCores Uint 若 TaskNodes 不为0,该字段有效。Task 节点 CPU 核数
TaskVolume Uint 若 TaskNodes 不为0,该字段有效。单位 GB,Task 节点数据盘容量
Password String 初始密码,用于 CVM,TencentDB 的初始 root 密码。要求8 - 16个字符,且必须同时包含大写字母、小写字母、数字和特殊字符 !@#%^* 中两种
VisitCos Uint 是否集成 COS。0:不集成,非0:集成
LogOnCosPath String 集成 COS 后,存储软件运行日志的 COS 路径地址
CosSecretId String 访问 COS 的 SecretId,参见 COS 基本概念-SecretId/SecretKey
CosSecretKey String 访问 COS 的 SecretKey,参见 COS 基本概念-SecretId/SecretKey
SupportHA Uint 是否支持高可用
CvmCharge Int CVM 计费模式,0:按量计费,1:包年包月。如有 hive 等组件会自动申请 TencentDB,则 TencentDB 的计费方式和 CVM 一致。
SgId String 外网 IP 的 CVM,安全组 ID,如果填写了安全组则使用已有安全组。如未填,则会新建一个安全组。不管使用已有还是新建安全组,入站规则仅会开放22和3001端口,如需更改可在 CVM 安全组修改,参见 安全组
ProjectId Uint 项目 ID 可以在账户信息,项目管理中查看,不填则使用0(默认项目)

输出参数

参数名称 类型 描述
code Int 公共错误码,0表示成功,其他值表示失败。详见错误码页面的 公共错误码
message String 模块错误信息描述,与接口相关。
data.clusterId String 集群 ID,emr-xxxx 格式

示例

在广州二区创建一个非高可用的集群,1个 Master 节点,2个 Core 节点,Master 节点 S1 型4核16G,50G数据盘,Core 节点 I1 型4核16G,50G数据盘,Task 节点 I1 型4核16G,数据盘为空,EMR 版本1,安装 hadoop-2.7.3,不集成 COS。

输入:

  https://emr.api.qcloud.com/index.php?Action=EmrCreateCluster
  &<公共请求参数>
  &ZoneId=100002
  &SoftInfo.0=hadoop-2.7.3
  &SoftInfo.1=zookeeper-3.4.9
  &VpcId=vpc-lgfidqdd
  &SubnetId=subnet-i5xrg93s
  &ProductId=1
  &MasterNodes=1
  &CoreNodes=2
  &TaskNodes=0
  &MasterSpec=CVM.S2
  &MasterMemory=16384
  &MasterCpuCores=4
  &MasterVolume=50
  &CoreSpec=CVM.I2
  &CoreStorageType=3
  &CoreRootSize=20
  &CoreMemory=16384
  &CoreCpuCores=4
  &CoreVolume=50
  &TaskSpec=CVM.I1
  &TaskMemory=16384
  &TaskCpuCores=4
  &TaskVolume=0
  &VisitCos=0
  &Password=emrpassword@123
  &SupportHA=0
  &CvmCharge=0

输出:

{
    "code": 0,
    "message": "",
    "data": {
        "clusterId": "emr-rowyenms"
    }
}