TSN技术及其在数据中心应用前景调研报告

前言

当前，新一轮技术产业革命蓬勃发展，新基建成为社会关注热点。

3月4日中共中央政治局常务委员会召开会议时指出，要加快5G网络、数据中心、工业互联网等新型基础设施建设进度。与传统基建不同，“新基建”被赋予了数字化、网络化、智能化等新技术内涵。而TSN可能是数据中心、工业互联网等新基建在网络层面的解决方案。

日前，腾讯学院邀请行业院士、专家共同举办了“新基建线上直播研讨会”，TSN在研讨会上被多次提到，腾讯数据中心研发团队也对这一技术开展了调研，希望和行业同仁共同交流探讨。

01

什么是TSN，可以解决什么问题？

我们熟悉的以太网数据通讯是一种“尽力而为”的机制，在丢包率、传输时延等方面都体现出不确定性。比如我们玩“王者荣耀”，网络不好的情况下，界面右上角显示的延时会有比较大的波动变化。而工业网络中，是不允许有这种不确定性存在的，特别是控制类数据的传输，需要一种能够保证低丢包率、低延时，以及资源预留的“确定”的网络。

TSN（Time Sensitive Network）是IEEE802.1工作组开发的一套协议标准，位于OSI七层模型中的第二层，即数据链路层（更准确的说是MAC子层）。它为以太网协议的MAC层增加了一套通用的时间敏感机制，在确保以太网数据通讯的时间确定性的同时，也为不同协议网络提供了统一的链路架构。

TSN在OSI七层模型中的位置

02

 TSN解决时延问题的原理是什么？

我们来看一个例子，如下图所示，小汽车出发到医院，往往有以下2种情形。

小汽车行驶路径

情形1：

到达医院的时间无法确定，完全依赖于车道拥挤、红绿灯等待时长情况。

情形2：

必须30分钟内到达医院，于是采取了如下措施：

1）交管部门预留出1个车道；

2）跟交警反馈2分钟后，到达十字路口，把绿灯打开；

3）给医院打电话10分钟后到达，请提前准备。

传统以太网好比上面的情形1——某个时段大量数据包（小汽车）在有限带宽（车道）下传输，会造成拥塞，同时遇到交换机/路由器(红绿灯)忙碌时，会进入排队缓冲（等红绿灯）。

TSN好比情形2——通过给关键数据包预留带宽，协调时间等机制，达到低时延的目的（详细原理可参考：http://www.proav-china.com/News/16800.html）。

具体有哪些机制呢？我们来看一看TSN的协议族组成。

TSN协议族

（图片来源：https://twitter.com/Avnu_Alliance）

TSN核心原理是基于高精度时间同步协议（PTP），在网络设备之间创建和分发一个时间计划表，将计划内的帧优先传输。具体的协议功能就不再这里描述了，感兴趣的同学可以在https://standards.ieee.org/搜索TSN，查看相关内容。

通过查看以上协议族的功能，我们总结出，TSN在解决时效性和可靠性问题上，是通过以下机制完成的：

（1） 时间感知整形（流量调度）

TSN交换机设备定义了多个缓冲队列（Queues），代表不同的优先级。每个队列对应一个阀门开关（Gates），控制流量的进出。时间感知整形器机制将每个数据包打上“时间戳”，在特定的时间点打开阀门，让符合条件的数据包通过。

时间感知整形示意图

（图片来源：https://blog.ebv.com/combining-tsn-sub-standards-knowhow/）

这意味着，计划流量所在队列在预定的时间窗口到达后会被放行传输，而在同个时间窗口中其他非计划流量的队列会被阻止传输，因此排除了计划流量被非计划流量阻塞的可能性，其通过每个交换机的延迟是确定的。

（2）抢占帧

抢占机制允许中断标准以太网或巨型帧的传输，以便高优先级帧的传输，然后在不丢弃之前传输的中断消息片段的情况下恢复传输。如下图所示，红色帧会被中断，优先传输蓝色帧，然后再恢复红色帧的传输。

抢占帧示意图

（图片来源：https://standards.ieee.org）

（3）预留带宽

对于不同的消息，为其预留不同的带宽。一个作用是保护关键消息不受其他网络流量的干扰，另一个作用是保证高优先级消息不能挤占掉整个网络的资源，即给不同优先级消息提供一定的带宽保证。

预留带宽示意图

（4） 多链路冗余帧

相同消息的冗余副本通过不相交的路径并行在网络中传输，冗余管理机制将这些来自不同链路的冗余消息聚合在一起，去除重复消息后生成发送给接收方的单个信息流。由于工作在数据链路层，帧复制和重复帧消除的操作对应用层透明。

多链路冗余帧示意图

（图片来源：https://standards.ieee.org）

03

TSN有哪些应用前景及行业影响？

通过搜索引擎查询“TSN Devices、TSN Architecture、TSN Solutions、TSN Products”，出现频率较高的一些关键字是：

Industry 4.0 

IoT

Automation

OPC UA over TSN

TSN for Automotive

5G and TSN

总体来看，涉及到以下几个领域：

（1）视频/音频传输

这里不过多描述了，TSN的前身AVB就是专门为音视频传输而生的。

（2）汽车领域

汽车电子的CAN总线，由于带宽受限，只能用于电气参数的数据传输，影音系统等必须使用额外独立的网络。随着辅助驾驶系统（ADAS）的发展，传感器越来越多，人机交互越来越多样化，智能化数据与电气参数之间的联动也需要一个统一融合的网络。芯片厂商NXP、XILINK等已经为新一代的汽车开发了TSN芯片， 在奥迪、奔驰、大众等汽车上进行基于TSN的以太网应用测试与验证工作。

（3）工业网络

工业网络不止带宽要求越来越高，还必须保证数据是周期性的传输。如保证每隔200μs采样一次传感器数据、刷新一次控制循环，这期间不允许有其它数据对这种周期性数据造成阻塞，也不允许有时快时慢的延时响应。TSN符合了工业里这种“确定时延、不被中断、可靠传输”的要求，同时它是IEEE的标准，更具中立性，得到了很多厂商的支持（加莱、三菱、西门子、施耐德、罗克韦尔等主流厂商已经推出其基于TSN的产品）。所以TSN很可能会成为工业通信领域厂商的共同选择。

（4）工业物联网

工业领域存在诸多厂商各自的私有协议，要把不同厂商间各个终端节点的数据打通，需要解决2个层面的问题。一个是统一的网络架构和链路协议，另一个是各厂商终端或系统间的数据交互接口。ABB、思科、倍福、华为等厂商正在通过OPC UA over TSN的网络架构来实现这种互联需求。TSN提供统一的链路层实时传输，OPC UA提供统一的信息交互架构。

（5）5G的垂直应用

我们知道5G的特点是高可靠、低延时，那它与同样特性的TSN之间有什么关系吗？

就目前而言，5G的URLLC（超可靠和低延迟通信）标准使用的技术手段与TSN是不同的，但是，它们已经产生了两个联系的点：

• TSN成为5G的骨干网 我们知道5G处理无线终端与基站之间的传输，它的可靠性和低时延性能甚至超过了现有以太网。如果基站到骨干网，及骨干网络之间是以太网，那么传统以太网这一块会拖了5G应用的后腿。所以，基于TSN的骨干网络会成为5G应用的一个补充，使得应用在终端、基站、骨干网的网络之间得到全链路的高可靠低时延保证。也可以说，TSN为5G实现了一次技术接力。
• TSN标准应用于5G 在3GPP R16规划中，已经将TSN技术纳入到了5G标准中。相比5G URLLC技术在可靠性和时延方面的保证，TSN技术进一步在时延抖动和时间同步方面对5G网络进行了增强。计划在2019年底完成的R16，由于疫情的影响，3GPP宣布R16标准冻结延后到2020年6月。

04

 TSN目前进展如何，有哪些应用实践？

（1）TSN的发展史

TSN相关功能及对应标准的发布时间线

TSN包含了早期一系列成熟的标准，同时也正在逐步完善一些机制。大致分以下几个阶段：

• 阶段1 精准时钟同步协议（PTP）  2002年
• 阶段2 AVB工作组  2005年 制定基于以太网架构的音频/视频传输协议族，使得数据在以太网中实时和低延时传输，制定了流量整形标准，同时又确保与以太网兼容。
• 阶段3 TSN工作组  2012年 AVB重命名为TSN，成立了TSN工作组，扩展了时钟同步、流量调度、网络配置系列标准族。在这个过程中，由AVnu、IIC、OPC UA基金会等组织共同积极推进TSN技术的标准。
• 阶段4 工业领域工作组  2016年 工业领域的企业（B&R、TTTech、SEW、Schneider等）于2016年成立工作组。然后，有更多的企业和组织（包括德国工业4.0组织LNI、美国工业互联网组织IIC、中国的边缘计算产业联盟ECC、工业互联网产业联盟AII等）加入TSN技术的研究，并构建了多个测试床。
• 阶段5 IEC60802工作组  2019年 IEC与IEEE合作成立IEC 60802工作组，目标是实现工业领域TSN的底层互操作。同时，OPC UA基金会也成立了工作组，将TSN技术与OPC UA规范融合，目标是提供稳定可靠、低延时、语义互操作的工业通信架构。

（2）TSN成熟度，及支持该协议机制的网络设备现状

我们来看一份2019年国内工业互联网产业联盟(AII)出具的《TSN网络设备互通测试报告》给出的结论。

1. 本次参加测试的三家设备厂商（华为、MOXA、ADI）的 TSN 设备均已经支持遵从 IEEE802.1AS 的精确时间同步特性，并可以实现组网场景下的对接；
2. 本次参加测试的三家设备厂商的 TSN 设备均已经支持遵从 IEEE802.1Qbv 的下行流量调度特性，并在一定程度上可以实现组网场景下的对接应用。
3. 各厂商主要针对单点特性进行研发实现，为实现确定时延的网络传输奠定技术基础。

详细测试方案内容见

http://www.aii-alliance.org/index.php?m=content&c=index&a=show&catid=23&id=611

我们对以上结论的理解是：这些TSN设备目前并未做到全部协议族的支持，但支持时钟同步和流量调度这2个核心功能，并且这些功能特性彼此之间兼容。

尽管还不够成熟，但国内外有大量的组织和企业在推动TSN发展，最典型的项目是OPC UA over TSN。如下图中所示的企业，宣布了对OPC UA over TSN的支持。

（图片来源：https://www.automationworld.com）

（3）实际应用案例及效果

虽然我们并未找到有影响力的生产系统案例，不过倒是发现了一个演示系统的例子：

2017年纽伦堡SPS展会上EPSG组织展台展出的OPC UA over TSN演示系统，由200个I/O站（共10000个测点）、5个高清视频、1台工业PC，2台交换机构成的系统，达到100μs的数据刷新能力，网络抖动小于100ns。

图片来源

http://www.interempresas.net/FeriaVirtual/Catalogos_y_documentos/187805/OPC-UA-TSN---A-new-solution-for-industrial-communication.pdf

05

TSN如何兼容现有以太网？

开篇提到，TSN位于OSI第二层的，那么现有以太网链路层的设备都需要做改变来支持TSN特性，涉及到的主要设备是：网卡、网桥、交换机。

更换这些设备就可以吗？那它是怎么识别关键数据和非关键数据？怎么知道数据的优先级？怎么投递数据的冗余路径？

我们并未找到这些问题的直接答案。于是试着从TSN帧报文格式来分析，如下图，绿色表示与TSN特性相关的数据字段。

TSN帧报文

（图片来源：https://www.analog.com/ru/analog-dialogue/articles/looking-inside-real-time-ethernet.html）

我们发现，TSN其实就是符合IEEE 802.1Q标准的VLAN，上图红色框标准的4字节部分正是以太网VLAN帧的VLAN Tag。

那么，应该清楚了，TSN除了时钟特性设置外，其它功能与VLAN的网络配置类似，通过不同维度的帧流量划分，来实现帧的优先级和冗余路径。这些维度包括：

• 源Mac地址、目标Mac地址、VLAN ID  （二层交换机功能）
• 源IP地址、目标IP地址   （三层交换机功能）
• 应用程序端口号、应用协议  （四层交换机功能）

因此，要构建一个TSN网络，需要满足以下条件：

• 使用支持TSN特性的计算机终端网卡、网桥或交换机设备；
• 配置TSN网络参数。

06

TSN是最佳的选择吗？

先抛出一个疑问，在TSN之前，工业领域有实时性的协议吗？

答案是有的，PROFINET IRT、EtherCAT、SERCOSS III等工业网络已经可以达到非常高的实时性指标，早已经实现了“时间敏感”。那么，为什么TSN要站出来抢地盘呢？

我们看下图，发现PROFINET IRT等这些协议为了实现“时间敏感”，其实是修改了以太网帧结构，那么它的网络是单独的，无法和以太网融合。大部分工业控制器都是两个网口，一个实时以太网，用于机器与系统控制；一个标准以太网，用于管理级信息的传输。

常见工业协议的OSI层结构

面对以上问题，TSN做到了“同一”和“统一”。

• 实时性数据和非实时性数据在同一个网络中传输；
• 处在IEEE标准的OSI架构第二层，基本上会成为统一的基础网络架构，然后在它之上，诞生各种形式的协议。

07

当数据中心遇到TSN，会有哪些可能？

（1）OPC UA over TSN

OPC UA目前已成为工业子系统之间集成的首选接口协议之一，其统一资源定义的信息模型也非常适用于对数据中心众多品类的设备和测点管理。

OPC UA 架构图

如上图，OPC UA不仅仅只是一种协议，而是定义了信息交换的统一架构。协议绑定层支持TCP/HTTP/MQTT等多种通道，支持二进制、XML、JSON格式；同时，它覆盖了主流的交互模式（Read/Wirite、Pub/Sub）；更重要的是信息模型层，不仅对资源抽象定义，而且还规范了实时数据、告警/事件、历史数据等的访问。

OPC UA和TSN的结合实际上起到了“1+1>2”的效果，而不仅仅是“统一架构+低延时”，为什么这么说呢？

前面提到，TSN有一个网络参数配置的过程，我们会面临每家厂商配置接口不一样的问题，OPC UA over TSN 解决了这个问题。我们发现有2个非常棒的点：

• 以统一的接口和语义去配置各家TSN设备的网络参数;
• 支持在资源访问路径中指定资源的TSN特性优先级。

OPC UA 配置TSN 架构示意

（图片来源：https://iebmedia.com/?id=12538&parentid=74&themeid=255&showdetail=true&bb=true）

（2）设备总线网络统一

数据中心基础设施的监控管理系统算得上是“半个工业系统”，其实时性要求虽不需要达到工业系统的程度，但设备接入和子系统间集成的网络架构是遵循工业系统发展趋势的。

目前数据中心的各个子系统，一般是由设备、采集/控制器模块、上层软件组成的三层架构。采集/控制器模块与设备之间是专门的非标准网络；与上层软件之间是以太网络。

TSN很可能会打破这种网络架构，变得扁平化，使得基础设施管理、网络管理、服务器管理有更多融合的可能。

（3）数据中心的控制技术

目前大部分数据中心的空调系统、电力系统都是“自闭”的系统，只能根据自身的环境感知来控制调节，起到有限的节能效果。腾讯数据中心团队依托多年来的运营经验，结合智维平台积累的各地域数据中心运营数据，形成了一系列外部系统参数对能耗影响的控制模型。而这些模型的落地，需要模型应用程序在实时采集数据的同时，能根据采集数据动态刷新控制指令，并及时可靠传输。在当下的以太网环境下，这些问题的解决相对复杂。而在TSN技术的加持下，这些将不再成为技术难点。

总结

TSN解决了传统以太网延时和丢包率不确定性的问题，同时也是IEEE规范的链路层协议，并向上兼容现有以太网。它是工业物联网发展的一块基石，也为IT和OT的融合奠定了基础。各大厂商和组织正在积极推进TSN标准和生态的发展，相关应用场景日趋成熟，这一块的研究我们将持续保持跟进。后续我们也将关注“新基建”其他的技术发展，相关进展也会持续和大家分享，敬请期待。

【说明】本文仅供学习和交流，文中部分图片来自网络，如涉版权，敬请联系删除，谢谢。