有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
文档中心 > 混沌演练平台 > 故障动作库 > 专线 > 专线专用通道断开故障模拟

背景

专线接入提供了一种快速安全连接云上服务与本地数据中心的方法。用户可以通过一条物理专线,一次性打通位于多地域的腾讯云计算资源,实现灵活可靠的混合云部署,专用通道是物理专线的网络链路划分,可以创建不同的专用通道与不同专线网关关联。生产环境中,可能因为告警配置不当或容灾规划不合理导致真实故障时不能正常接收告警或者容灾方案不能触发,进而造成业务损失。为了将架构风险前置,您可以利用混沌工程手段,提前对您的专线部署架构进行容灾验证。
通过专线专用通道断开故障模拟,您可以:
验证专线通道断开后的告警触达能力
通过腾讯云可观测平台,您可以制定针对物理专线、专用通道、专线网关的告警规则,在专线通道故障时,即可触发相应告警策略。为了验证告警规则配置的有效性,您可以使用“通道断开故障模拟”动作模拟专线专用通道故障,观察告警规则是否触发。
说明:
专线告警配置请参考专线接入-配置告警
验证专线高可用部署架构的容灾能力
腾讯云专线在各种故障场景下(如端口异常/光模块故障、网络设备故障、接入点机房故障等),可以最大限度保证业务的高可用性,为了提高专线的容灾能力,专线通常采用高可用部署,为了验证高可用部署架构的有效性以及实际故障时业务的容灾表现,您可以使用“通道断开故障模拟”动作进行故障验证。
说明:
专线容灾架构请参考专线接入-网络规划

实践示例

验证专线通道断开后的告警触达能力

演练准备

一条独享或共享专线专用通道,注意专用通道必须处于连接状态且版本为2.0(目前故障模拟只支持专线2.0版本)。





腾讯云可观测平台针对此专用通道断开故障配置相应告警策略。




演练步骤

步骤1:创建演练
创建演练,平台为您提供两种类型的专线断开故障动作,分别是独享专用通道停用共享专用通道停用,对应的故障恢复动作为独享专用通道启用共享专用通道启用,您需要根据您的通道类型选择相应的故障动作,下面以独享专用通道举例
1. 登录混沌演练控制台,进入演练管理页面,单击新建演练,对象类型选择专线-独享专用通道,单击添加实例



2. 单击添加实例后,您可以根据搜索条件过滤您名下的专用通道。



3. 实例选择完成后,单击添加演练动作



4. 选择独享专用通道停用



5. 故障动作会自动带出相应的恢复动作:
如果为自动执行,您可以单击动作进行动作前置及后置等待时间的设定,用来控制故障时长;
如果为手动执行,您可以自行控制故障和恢复时机。单击下一步,进入全局配置。



6. 在“全局配置”中,您可以设置演练执行方式为手动执行还是自动执行,默认为手动推进,继续添加监控指标,监控指标会在演练执行过程中实时刷新(不同对象监控可能有1~2分钟延迟),单击提交,进入环境检测。



7. 环境检测不会执行演练,仅会检查您的演练对象状态是否达到演练要求,例如:本故障动作会检查您的专用通道版本是否是2.0版本。



8. 至此,演练创建已经完成,您可以单击跳转演练详情执行演练。
步骤2:执行演练动作
1. 单击“动作执行”按键。



2. 等待故障动作执行成功,同时您也可以通过监控指标实时观测到故障表现(网络出入带宽掉至0)。



3. 等待故障注入完成后,您可以单击执行恢复动作,在适当时机恢复通道状态。




步骤3:结果观测

故障后,您可以看到专线通道处于停用状态,使用通道探测工具出现100%丢包:






在故障后,通过查看腾讯云可观测平台告警策略是否触发,在故障恢复后,查看告警是否恢复,从而验证告警触达有效性。同时您也可以结合监控指标观测整体故障注入及恢复效果。
注意:
监控指标和实际故障时间存在一定时延。
故障后,触发流量告警:



故障恢复后,告警恢复:



监控指标:




验证专线高可用部署架构的容灾能力(以双线双接入点为例)

演练准备




双线双接入点部署架构:用户IDC通过两条物理专线分别与腾讯云两个接入点连接,IDC 侧本地路由器通过 BGP 协议分别与两个 DSR 集群分别建立了 BGP 邻居关系,当检测到物理线路1发生故障,系统自动将流量切换至物理线路2,保证业务正常运行。故障修复后,流量自动切回。




演练步骤

1. 创建演练,选择专线-独享专用通道,单击添加实例,根据专线ID筛选专线上的所有通道。


2. 后续创建演练步骤同1.2演练步骤,请参照1.2演练步骤配置。

结果观测

专线通道断开故障会停用通道BGP子接口,导致无法建立BGP连接,故障后,您可以在控制台看到BGP连接处于停用状态,如果通道配置有BFD 或 NQA健康探测,相应探测也会失败。如果您的专线配置有自动收敛规则,通道流量应该自动切换到备用专线,在线路容量规划留有50%余量的情况下,您可以通过监控专线流量发现专线出入流量翻倍。