EMR 开发指南

数据结构

最近更新时间:2020-09-21 08:03:26

COSSettings

COS 相关配置

被如下接口引用:CreateInstance。

名称 类型 必选 描述
CosSecretId String COS SecretId
CosSecretKey String COS SecrectKey
LogOnCosPath String 日志存储在COS上的路径

CdbInfo

出参

被如下接口引用:DescribeClusterNodes。

名称 类型 描述
InstanceName String 数据库实例
注意:此字段可能返回 null,表示取不到有效值。
Ip String 数据库IP
注意:此字段可能返回 null,表示取不到有效值。
Port Integer 数据库端口
注意:此字段可能返回 null,表示取不到有效值。
MemSize Integer 数据库内存规格
注意:此字段可能返回 null,表示取不到有效值。
Volume Integer 数据库磁盘规格
注意:此字段可能返回 null,表示取不到有效值。
Service String 服务标识
注意:此字段可能返回 null,表示取不到有效值。
ExpireTime String 过期时间
注意:此字段可能返回 null,表示取不到有效值。
ApplyTime String 申请时间
注意:此字段可能返回 null,表示取不到有效值。
PayType Integer 付费类型
注意:此字段可能返回 null,表示取不到有效值。
ExpireFlag Boolean 过期标识
注意:此字段可能返回 null,表示取不到有效值。
Status Integer 数据库状态
注意:此字段可能返回 null,表示取不到有效值。
IsAutoRenew Integer 续费标识
注意:此字段可能返回 null,表示取不到有效值。
SerialNo String 数据库字符串
注意:此字段可能返回 null,表示取不到有效值。
ZoneId Integer ZoneId
注意:此字段可能返回 null,表示取不到有效值。
RegionId Integer RegionId
注意:此字段可能返回 null,表示取不到有效值。

ClusterInstancesInfo

集群实例信息

被如下接口引用:DescribeInstances。

名称 类型 描述
Id Integer ID号
注意:此字段可能返回 null,表示取不到有效值。
ClusterId String 集群ID
注意:此字段可能返回 null,表示取不到有效值。
Ftitle String 标题
注意:此字段可能返回 null,表示取不到有效值。
ClusterName String 集群名
注意:此字段可能返回 null,表示取不到有效值。
RegionId Integer 地域ID
注意:此字段可能返回 null,表示取不到有效值。
ZoneId Integer 地区ID
注意:此字段可能返回 null,表示取不到有效值。
AppId Integer 用户APPID
注意:此字段可能返回 null,表示取不到有效值。
Uin String 用户UIN
注意:此字段可能返回 null,表示取不到有效值。
ProjectId Integer 项目Id
注意:此字段可能返回 null,表示取不到有效值。
VpcId Integer 集群VPCID
注意:此字段可能返回 null,表示取不到有效值。
SubnetId Integer 子网ID
注意:此字段可能返回 null,表示取不到有效值。
Status Integer 实例的状态码。取值范围:
  • 2:表示集群运行中。
  • 3:表示集群创建中。
  • 4:表示集群扩容中。
  • 5:表示集群增加router节点中。
  • 6:表示集群安装组件中。
  • 7:表示集群执行命令中。
  • 8:表示重启服务中。
  • 9:表示进入维护中。
  • 10:表示服务暂停中。
  • 11:表示退出维护中。
  • 12:表示退出暂停中。
  • 13:表示配置下发中。
  • 14:表示销毁集群中。
  • 15:表示销毁core节点中。
  • 16:销毁task节点中。
  • 17:表示销毁router节点中。
  • 18:表示更改webproxy密码中。
  • 19:表示集群隔离中。
  • 20:表示集群冲正中。
  • 21:表示集群回收中。
  • 22:表示变配等待中。
  • 23:表示集群已隔离。
  • 24:表示缩容节点中。
  • 33:表示集群等待退费中。
  • 34:表示集群已退费。
  • 301:表示创建失败。
  • 302:表示扩容失败。

  • 注意:此字段可能返回 null,表示取不到有效值。
    AddTime String 添加时间
    注意:此字段可能返回 null,表示取不到有效值。
    RunTime String 已经运行时间
    注意:此字段可能返回 null,表示取不到有效值。
    Config EmrProductConfigOutter 集群产品配置信息
    注意:此字段可能返回 null,表示取不到有效值。
    MasterIp String 主节点外网IP
    注意:此字段可能返回 null,表示取不到有效值。
    EmrVersion String EMR版本
    注意:此字段可能返回 null,表示取不到有效值。
    ChargeType Integer 收费类型
    注意:此字段可能返回 null,表示取不到有效值。
    TradeVersion Integer 交易版本
    注意:此字段可能返回 null,表示取不到有效值。
    ResourceOrderId Integer 资源订单ID
    注意:此字段可能返回 null,表示取不到有效值。
    IsTradeCluster Integer 是否计费集群
    注意:此字段可能返回 null,表示取不到有效值。
    AlarmInfo String 集群错误状态告警信息
    注意:此字段可能返回 null,表示取不到有效值。
    IsWoodpeckerCluster Integer 是否采用新架构
    注意:此字段可能返回 null,表示取不到有效值。
    MetaDb String 元数据库信息
    注意:此字段可能返回 null,表示取不到有效值。
    Tags Array of Tag 标签信息
    注意:此字段可能返回 null,表示取不到有效值。
    HiveMetaDb String Hive元数据信息
    注意:此字段可能返回 null,表示取不到有效值。
    ServiceClass String 集群类型:EMR,CLICKHOUSE,DRUID
    注意:此字段可能返回 null,表示取不到有效值。
    AliasInfo String 集群所有节点的别名序列化
    注意:此字段可能返回 null,表示取不到有效值。
    ProductId Integer 集群版本Id
    注意:此字段可能返回 null,表示取不到有效值。

    CustomMetaInfo

    用户自建Hive-MetaDB信息

    被如下接口引用:CreateInstance, InquiryPriceCreateInstance。

    名称 类型 必选 描述
    MetaDataJdbcUrl String 自定义MetaDB的JDBC连接,请以 jdbc:mysql:// 开头
    MetaDataUser String 自定义MetaDB用户名
    MetaDataPass String 自定义MetaDB密码

    EmrProductConfigOutter

    EMR产品配置

    被如下接口引用:DescribeInstances。

    名称 类型 描述
    SoftInfo Array of String 软件信息
    注意:此字段可能返回 null,表示取不到有效值。
    MasterNodeSize Integer Master节点个数
    注意:此字段可能返回 null,表示取不到有效值。
    CoreNodeSize Integer Core节点个数
    注意:此字段可能返回 null,表示取不到有效值。
    TaskNodeSize Integer Task节点个数
    注意:此字段可能返回 null,表示取不到有效值。
    ComNodeSize Integer Common节点个数
    注意:此字段可能返回 null,表示取不到有效值。
    MasterResource OutterResource Master节点资源
    注意:此字段可能返回 null,表示取不到有效值。
    CoreResource OutterResource Core节点资源
    注意:此字段可能返回 null,表示取不到有效值。
    TaskResource OutterResource Task节点资源
    注意:此字段可能返回 null,表示取不到有效值。
    ComResource OutterResource Common节点资源
    注意:此字段可能返回 null,表示取不到有效值。
    OnCos Boolean 是否使用COS
    注意:此字段可能返回 null,表示取不到有效值。
    ChargeType Integer 收费类型
    注意:此字段可能返回 null,表示取不到有效值。
    RouterNodeSize Integer Router节点个数
    注意:此字段可能返回 null,表示取不到有效值。
    SupportHA Boolean 是否支持HA
    注意:此字段可能返回 null,表示取不到有效值。
    SecurityOn Boolean 是否支持安全模式
    注意:此字段可能返回 null,表示取不到有效值。
    SecurityGroup String 安全组名称
    注意:此字段可能返回 null,表示取不到有效值。
    CbsEncrypt Integer 是否开启Cbs加密
    注意:此字段可能返回 null,表示取不到有效值。

    HostVolumeContext

    Pod HostPath挂载方式描述

    被如下接口引用:ScaleOutInstance。

    名称 类型 必选 描述
    VolumePath String Pod挂载宿主机的目录。资源对宿主机的挂载点,指定的挂载点对应了宿主机的路径,该挂载点在Pod中作为数据存储目录使用
    注意:此字段可能返回 null,表示取不到有效值。

    LoginSettings

    登录设置

    被如下接口引用:CreateInstance。

    名称 类型 必选 描述
    Password String Password
    PublicKeyId String Public Key

    MultiDisk

    多云盘参数

    被如下接口引用:CreateInstance, InquiryPriceCreateInstance, InquiryPriceScaleOutInstance。

    名称 类型 必选 描述
    DiskType String 云盘类型("CLOUD_PREMIUM","CLOUD_SSD","CLOUD_BASIC")的一种
    Volume Integer 云盘大小
    Count Integer 该类型云盘个数

    MultiDiskMC

    多云盘参数

    被如下接口引用:DescribeClusterNodes。

    名称 类型 必选 描述
    Count Integer 该类型云盘个数
    注意:此字段可能返回 null,表示取不到有效值。
    Type Integer 磁盘类型
    注意:此字段可能返回 null,表示取不到有效值。
    Volume Integer 云盘大小
    注意:此字段可能返回 null,表示取不到有效值。

    NewResourceSpec

    资源描述

    被如下接口引用:CreateInstance, InquiryPriceCreateInstance。

    名称 类型 必选 描述
    MasterResourceSpec Resource 描述Master节点资源
    CoreResourceSpec Resource 描述Core节点资源
    TaskResourceSpec Resource 描述Task节点资源
    MasterCount Integer Master节点数量
    CoreCount Integer Core节点数量
    TaskCount Integer Task节点数量
    CommonResourceSpec Resource 描述Common节点资源
    CommonCount Integer Common节点数量

    NodeHardwareInfo

    节点硬件信息

    被如下接口引用:DescribeClusterNodes。

    名称 类型 描述
    AppId Integer 用户APPID
    注意:此字段可能返回 null,表示取不到有效值。
    SerialNo String 序列号
    注意:此字段可能返回 null,表示取不到有效值。
    OrderNo String 机器实例ID
    注意:此字段可能返回 null,表示取不到有效值。
    WanIp String master节点绑定外网IP
    注意:此字段可能返回 null,表示取不到有效值。
    Flag Integer 节点类型。0:common节点;1:master节点
    ;2:core节点;3:task节点
    注意:此字段可能返回 null,表示取不到有效值。
    Spec String 节点规格
    注意:此字段可能返回 null,表示取不到有效值。
    CpuNum Integer 节点核数
    注意:此字段可能返回 null,表示取不到有效值。
    MemSize Integer 节点内存
    注意:此字段可能返回 null,表示取不到有效值。
    MemDesc String 节点内存描述
    注意:此字段可能返回 null,表示取不到有效值。
    RegionId Integer 节点所在region
    注意:此字段可能返回 null,表示取不到有效值。
    ZoneId Integer 节点所在Zone
    注意:此字段可能返回 null,表示取不到有效值。
    ApplyTime String 申请时间
    注意:此字段可能返回 null,表示取不到有效值。
    FreeTime String 释放时间
    注意:此字段可能返回 null,表示取不到有效值。
    DiskSize String 硬盘大小
    注意:此字段可能返回 null,表示取不到有效值。
    NameTag String 节点描述
    注意:此字段可能返回 null,表示取不到有效值。
    Services String 节点部署服务
    注意:此字段可能返回 null,表示取不到有效值。
    StorageType Integer 磁盘类型
    注意:此字段可能返回 null,表示取不到有效值。
    RootSize Integer 系统盘大小
    注意:此字段可能返回 null,表示取不到有效值。
    ChargeType Integer 付费类型
    注意:此字段可能返回 null,表示取不到有效值。
    CdbIp String 数据库IP
    注意:此字段可能返回 null,表示取不到有效值。
    CdbPort Integer 数据库端口
    注意:此字段可能返回 null,表示取不到有效值。
    HwDiskSize Integer 硬盘容量
    注意:此字段可能返回 null,表示取不到有效值。
    HwDiskSizeDesc String 硬盘容量描述
    注意:此字段可能返回 null,表示取不到有效值。
    HwMemSize Integer 内存容量
    注意:此字段可能返回 null,表示取不到有效值。
    HwMemSizeDesc String 内存容量描述
    注意:此字段可能返回 null,表示取不到有效值。
    ExpireTime String 过期时间
    注意:此字段可能返回 null,表示取不到有效值。
    EmrResourceId String 节点资源ID
    注意:此字段可能返回 null,表示取不到有效值。
    IsAutoRenew Integer 续费标志
    注意:此字段可能返回 null,表示取不到有效值。
    DeviceClass String 设备标识
    注意:此字段可能返回 null,表示取不到有效值。
    Mutable Integer 支持变配
    注意:此字段可能返回 null,表示取不到有效值。
    MCMultiDisk Array of MultiDiskMC 多云盘
    注意:此字段可能返回 null,表示取不到有效值。
    CdbNodeInfo CdbInfo 数据库信息
    注意:此字段可能返回 null,表示取不到有效值。
    Ip String 内网IP
    注意:此字段可能返回 null,表示取不到有效值。
    Destroyable Integer 此节点是否可销毁,1可销毁,0不可销毁
    注意:此字段可能返回 null,表示取不到有效值。
    Tags Array of Tag 节点绑定的标签
    注意:此字段可能返回 null,表示取不到有效值。
    AutoFlag Integer 是否是自动扩缩容节点,0为普通节点,1为自动扩缩容节点。
    注意:此字段可能返回 null,表示取不到有效值。
    HardwareResourceType String 资源类型, host/pod
    注意:此字段可能返回 null,表示取不到有效值。

    OutterResource

    资源详情

    被如下接口引用:DescribeInstances。

    名称 类型 描述
    Spec String 规格
    注意:此字段可能返回 null,表示取不到有效值。
    SpecName String 规格名
    注意:此字段可能返回 null,表示取不到有效值。
    StorageType Integer 硬盘类型
    注意:此字段可能返回 null,表示取不到有效值。
    DiskType String 硬盘类型
    注意:此字段可能返回 null,表示取不到有效值。
    RootSize Integer 系统盘大小
    注意:此字段可能返回 null,表示取不到有效值。
    MemSize Integer 内存大小
    注意:此字段可能返回 null,表示取不到有效值。
    Cpu Integer CPU个数
    注意:此字段可能返回 null,表示取不到有效值。
    DiskSize Integer 硬盘大小
    注意:此字段可能返回 null,表示取不到有效值。
    InstanceType String 规格
    注意:此字段可能返回 null,表示取不到有效值。

    PersistentVolumeContext

    Pod PVC存储方式描述

    被如下接口引用:ScaleOutInstance。

    名称 类型 必选 描述
    DiskSize Integer 磁盘大小,单位为GB。
    注意:此字段可能返回 null,表示取不到有效值。
    DiskType String 磁盘类型。CLOUD_PREMIUM;CLOUD_SSD
    注意:此字段可能返回 null,表示取不到有效值。
    DiskNum Integer 磁盘数量
    注意:此字段可能返回 null,表示取不到有效值。

    Placement

    描述集群实例位置信息

    被如下接口引用:CreateInstance, InquiryPriceCreateInstance, InquiryPriceRenewInstance, InquiryPriceUpdateInstance。

    名称 类型 必选 描述
    ProjectId Integer 实例所属项目ID。该参数可以通过调用 DescribeProject 的返回值中的 projectId 字段来获取。填0为默认项目。
    Zone String 实例所属的可用区,例如ap-guangzhou-1。该参数也可以通过调用 DescribeZones 的返回值中的Zone字段来获取。

    PodSpec

    扩容容器资源时的资源描述

    被如下接口引用:ScaleOutInstance。

    名称 类型 必选 描述
    ResourceProviderIdentifier String 外部资源提供者的标识符,例如"cls-a1cd23fa"。
    ResourceProviderType String 外部资源提供者类型,例如"tke",当前仅支持"tke"。
    NodeType String 资源的用途,即节点类型,当前仅支持"TASK"。
    Cpu Integer CPU核数。
    Memory Integer 内存大小,单位为GB。
    DataVolumes Array of String 资源对宿主机的挂载点,指定的挂载点对应了宿主机的路径,该挂载点在Pod中作为数据存储目录使用。弃用
    CpuType String Eks集群-CPU类型,当前支持"intel"和"amd"
    PodVolumes Array of PodVolume Pod节点数据目录挂载信息。

    PodVolume

    Pod的存储设备描述信息。

    被如下接口引用:ScaleOutInstance。

    名称 类型 必选 描述
    VolumeType String 存储类型,可为"pvc","hostpath"。
    注意:此字段可能返回 null,表示取不到有效值。
    PVCVolume PersistentVolumeContext 当VolumeType为"pvc"时,该字段生效。
    注意:此字段可能返回 null,表示取不到有效值。
    HostVolume HostVolumeContext 当VolumeType为"hostpath"时,该字段生效。
    注意:此字段可能返回 null,表示取不到有效值。

    PreExecuteFileSettings

    预执行脚本配置

    被如下接口引用:CreateInstance, ScaleOutInstance。

    名称 类型 必选 描述
    Path String 脚本在COS上路径,已废弃
    Args Array of String 执行脚本参数
    Bucket String COS的Bucket名称,已废弃
    Region String COS的Region名称,已废弃
    Domain String COS的Domain数据,已废弃
    RunOrder Integer 执行顺序
    WhenRun String resourceAfter 或 clusterAfter
    CosFileName String 脚本文件名,已废弃
    CosFileURI String 脚本的cos地址
    CosSecretId String cos的SecretId
    CosSecretKey String Cos的SecretKey
    AppId String cos的appid,已废弃

    PriceResource

    询价资源

    被如下接口引用:InquiryPriceScaleOutInstance。

    名称 类型 描述
    Spec String 需要的规格
    注意:此字段可能返回 null,表示取不到有效值。
    StorageType Integer 硬盘类型
    注意:此字段可能返回 null,表示取不到有效值。
    DiskType String 硬盘类型
    注意:此字段可能返回 null,表示取不到有效值。
    RootSize Integer 系统盘大小
    注意:此字段可能返回 null,表示取不到有效值。
    MemSize Integer 内存大小
    注意:此字段可能返回 null,表示取不到有效值。
    Cpu Integer 核心数量
    注意:此字段可能返回 null,表示取不到有效值。
    DiskSize Integer 硬盘大小
    注意:此字段可能返回 null,表示取不到有效值。
    MultiDisks Array of MultiDisk 云盘列表
    注意:此字段可能返回 null,表示取不到有效值。
    DiskCnt Integer 磁盘数量
    注意:此字段可能返回 null,表示取不到有效值。
    InstanceType String 规格
    注意:此字段可能返回 null,表示取不到有效值。
    Tags Array of Tag 标签
    注意:此字段可能返回 null,表示取不到有效值。
    DiskNum Integer 磁盘数量
    注意:此字段可能返回 null,表示取不到有效值。
    LocalDiskNum Integer 本地盘的数量
    注意:此字段可能返回 null,表示取不到有效值。

    Resource

    资源详情

    被如下接口引用:CreateInstance, InquiryPriceCreateInstance。

    名称 类型 必选 描述
    Spec String 节点规格描述
    注意:此字段可能返回 null,表示取不到有效值。
    StorageType Integer 存储类型
    注意:此字段可能返回 null,表示取不到有效值。
    DiskType String 磁盘类型
    注意:此字段可能返回 null,表示取不到有效值。
    MemSize Integer 内存容量,单位为M
    注意:此字段可能返回 null,表示取不到有效值。
    Cpu Integer CPU核数
    注意:此字段可能返回 null,表示取不到有效值。
    DiskSize Integer 数据盘容量
    注意:此字段可能返回 null,表示取不到有效值。
    RootSize Integer 系统盘容量
    注意:此字段可能返回 null,表示取不到有效值。
    MultiDisks Array of MultiDisk 云盘列表,当数据盘为一块云盘时,直接使用DiskType和DiskSize参数,超出部分使用MultiDisks
    注意:此字段可能返回 null,表示取不到有效值。
    Tags Array of Tag 需要绑定的标签列表
    注意:此字段可能返回 null,表示取不到有效值。
    InstanceType String 规格类型
    注意:此字段可能返回 null,表示取不到有效值。
    LocalDiskNum Integer 本地盘数量
    注意:此字段可能返回 null,表示取不到有效值。
    DiskNum Integer 盘数量
    注意:此字段可能返回 null,表示取不到有效值。

    SearchItem

    搜索字段

    被如下接口引用:DescribeClusterNodes。

    名称 类型 必选 描述
    SearchType String 支持搜索的类型
    SearchValue String 支持搜索的值

    Tag

    标签

    被如下接口引用:CreateInstance, DescribeClusterNodes, DescribeInstances, InquiryPriceCreateInstance, InquiryPriceScaleOutInstance, ScaleOutInstance。

    名称 类型 必选 描述
    TagKey String 标签键
    TagValue String 标签值

    UpdateInstanceSettings

    变配资源规格

    被如下接口引用:InquiryPriceUpdateInstance。

    名称 类型 必选 描述
    Memory Integer 内存容量,单位为G
    CPUCores Integer CPU核数
    ResourceId String 机器资源ID(EMR测资源标识)
    InstanceType String 变配机器规格

    VPCSettings

    VPC 参数

    被如下接口引用:CreateInstance, InquiryPriceCreateInstance。

    名称 类型 必选 描述
    VpcId String VPC ID
    SubnetId String Subnet ID
    目录