EMR 开发指南

网络打通

最近更新时间:2020-07-17 10:12:04

本地自建 HDFS 文件迁移到 EMR

本地自建 HDFS 文件迁移到 EMR 集群需要有专线打通网络,可以联系开发人员协助解决。

CVM 上的自建 HDFS 文件迁移到 EMR

  • CVM 的所属网络和 EMR 集群的所属网络在同一 VPC 下,则可以自由传送文件。
  • CVM 的所属网络和 EMR 集群的所属网络在不同 VPC 下,需要使用对等连接将网络打通。

使用对等连接

网段1:广州的 VPC1 中的子网 A 192.168.1.0/24。
网段2:北京的 VPC2 中的子网 B 10.0.1.0/24。

  1. 登录 腾讯云控制台,在上方导航条选择【云产品】>【网络】>【私有网络】。
  2. 在私有网络控制台中选择【对等连接】页,在列表上方选择地域广州,选择私有网络 VPC1,然后单击【+新建】。
  3. 进入建立对等连接页。
    • 【名称】对等连接的名称,例如 PeerConn。
    • 【本端地域】填写本地端地域,例如广州。
    • 【本端网络】填写本端网络,例如 VPC1。
    • 【对端账户类型】填写对端网络所属账户,如果广州和北京两个网络在同一账户下,选择【我的账户】,如果不在同一账户,则要选择【其它账户】。
      说明:

      如果本端网络和对端网络都在同一地域,例如广州,通信是免费的,也不需要选择【带宽上线】;如果不在同一地域,就要进行收费,同时带宽上限可选。

    • 【对端地域】填写对端地域,例如北京。
    • 【对端网络】填写对端网络,例如 VPC2。
  4. 同账户内私有网络进行连接,新建后对等连接立即生效;与其它账户私有网络创建对等连接,需要对端接受此对等连接后生效。参见 同账号创建对等连接通信跨账号创建对等连接通信
  5. 为对等连接配置本端和对端路由表。
    • 登录 腾讯云控制台 ,选择【云产品】>【网络】>【私有网络】,进入私有网络控制台。单击左侧目录中的【子网】,进入管理页面。单击对等连接本端指定子网(例如广州的子网 VPC1)的关联路由表 ID,进入路由表详情页。
    • 单击【+新增路由策略】。
    • 目的端中填入对端 CIDR(例如北京的 VPC2 的 CIDR 是10.0.1.0/24),下一跳类型选择【对等连接】,下一跳选择已建立的对等连接(PeerConn)。
    • 以上步骤是配置广州 VPC1 到北京 VPC2 的路由表,还需要配置北京 VPC2 到广州 VPC1 的配置,配置过程同上。
    • 路由表配置完成后,不同私有网络的网段之间即可进行通信。