启用 AI 的视频分析如何提高机场运营效率

本文整理自讲座:

大家好，我是来自西雅图塔科马国际机场的 tim turber，很高兴来到NVIDIA GTC分享我们在 Seatac 机场的一些故事，那是北美发展最快的机场之一，以及我们如何重新寻找使用人工智能和英伟达开发技术来提高机场运作效率。

这是我们今天演讲的安排。我们将解释为什么西塔克机场变得如此受限制的，然后我们希望做些什么来摆脱这个局面，以及Assaia技术是如何来提高登机口受限机场的一些性能。

因此，让我们先了解一下西塔克机场的历史，就像美国的许多机场一样，我们是在第二次世界大战之后开始的，因为机场在全国范围内迅速扩张，我们最初是一个单一的航站楼机场， 1960年代加了两个候机楼，后来建了国内最早的地铁系统，然后是70年代的停车场，这让我们的机场有了一个非常独特的配置。2008 年，我们在机场增加了第三条跑道以增加容量，并迅速超过了仅三条跑道和这种终端配置的容量。2018 年，我们开始了一个机场巴士计划，我们在机场没有足够的登机口，所以我们将乘客送到偏远的站台，在那里你通过坡道或楼梯登机，这其实并不是我们想为客户提供的服务，但这是我们继续允许航班在没有重大延误的情况下发生的一种方式。同时我们扩大了航站楼，然后进行了一些急需的建设，即建设一个新的国际到达设施，以及我们的北卫星急需的翻新工程，该卫星将于今年第三季度开放，然后我将稍后再谈我们的报告总体规划以及进展情况。

因此，在短短七年的时间里，西塔克机场从全国第 16 大最繁忙的机场上升到第 8 大最繁忙的机场，因此人口的巨大增长需要西雅图地区的许多蓬勃发展的企业，造就了机场这样的快速增长。

疫情已经对机场和整个旅游业产生了影响，因此我们从 2019 年的 5000万到5200 万人次下降到 2020 年的 2000 万人次，但我们认为这种复苏将在未来四年内发生。我们将在 2024 年的某个时候回到 2019 年的水平，所以尽管我们发展得如此之快，但我们无法增加大量的基础设施容量。

所以我们仍然是登机口数量最少的机场之一。这意味着我们每个登机口的乘客数量比美国任何其他机场都多，每个登机口的乘客数量比亚特兰大（世界上最繁忙的机场之一）多 35%，所以这让我们非常仔细地研究我们如何使用这些有限的资源来确保尽可能高的效率，此外，与我们的一些同行机场相比，我们的航站楼空间相当有限，我们的规模几乎是同行的一半。

如果您将seatac 叠加在迪拜机场的顶部，这是我们机场的视图，那么为什么与迪拜相比，seatac 和迪拜每年运行约 400 000 至 420 000 次运营，这些是全年的到达和离开，这些是疫情前的数字，但是迪拜有更大的飞机在运营，但运营数量大致相当，因此，您可以看到我们的航站楼空间仅适合迪拜的多个航站楼之一，这只是为了进一步展示我们在 seatac 的限制。

关于我们在这个空间的建设，我们在过去的几年里一直在做一个项目，改造航站楼 ，这大约是一个6亿美元的项目，我们有必要的航站楼改造，如果你去过seatac机场，机场主要中心部分的美丽玻璃墙景观已经建设了一段时间，以增加一些机场餐饮零售机会，同时我们正在建设一个45万平方英尺的新国际到达站设施，以欢迎新乘客。

所以总的来说，这是一个大约20亿美元的项目，包括一些乘客可能看不到的后台行李优化项目。机场的国际到达站是独一无二的，这将是继盖特威克机场之后世界上第二大机场， 有一座桥穿过一条活跃的出租车道，这将是世界上覆盖一条活跃的出租车道的最长的桥梁。

稍微介绍一下我们的机场，我们基本上运营着一个小城市，每天通过航站楼，每天有 600 到 1500 个航班到达和离开，5 万到 15 万乘客通过航站楼，我们只有不到 20 000在机场工作的有徽章的员工，我们自己的消防部门、警察部门。我们对机场最繁忙的部分有很多假设，但我们没有很多数据来支持这一点，这就是为什么我们很高兴与 Assaia 合作，他们'提供能够将您在航站楼外看到的内容转化为有用的数据，我们可以使用这些数据来实际创造提高效率的机会并以不同的方式了解操作。

因此，从我，一个机场调度经理的角度来看，我们看到的最大问题之一是飞机，它们正在等待登机口，当飞机出现在机场时，没有人会赢，他们没有可用的登机口，乘客被绑在座位上，他们无法起身，无法使用设施，没有客舱服务，乘客的焦虑情绪正在上升，地面运营团队面临着使该登机口开放的压力。

这从来都不是一个好的场景，但这是我们在疫情之前的常态，当时我们的飞机整天都在忙着等待登机口可用，所以平均而言，大约是每月 641 分钟飞机处于闲置状态，发动机运转，燃烧排放，花费航空公司的钱，等待登机口打开。

所以美国航空公司，一个预测不同运营成本的航空业组织，计算行业时间延误大约是每分钟 75 美元，所以你拿我们的平均延误来说，这相当于我 一个月的延误成本为5W美元，由于登机口不可用，更不用说航空公司为重新预订乘客而产生的所有额外费用，如果出现连接错误或其他问题，这些费用是基于一架飞机在着陆时没有可用的登机口。

所以这把我们带到了我们在登机口机场的一些盲点，看看这两个航班，你可以看到每架飞机的后推准备就绪的视觉指示器，看着左边的飞机，我们有乘客装载桥仍然连接到飞机，有一条行李带连接到货舱门。你可以看到附近有行李车装卸行李，可能还在加油服务，飞机的右翼，另外还有一根400赫兹的电源线连接到飞机上，所以你可以看到左边的飞机是不会很快离开，但是右边那架飞机已经拆除了喷气桥，后推拖拉机存在，有翼助行器将引导飞机的机翼，当飞机被推回时，在很多与其他飞机相比，后推准备状态更高，但仅及时查看这张快照，我们不一定需要知道在周转事件中进行的所有服务是否按时发生。

因此，我们希望与Assaia团队一起做的一件事是将预定的活动安排与实际活动进行比较，所有行李服务已在该航班上完成，并希望能够预测该飞机何时实际起飞并离开其登机口，使该登机口可用于任何进港航班，以及如何我们这样做。

所以这确实是一种协作方法，其中有一种称为机场协作决策的模型，这种模型在整个欧洲都很流行，它在美国已经使用了很长时间，但主要集中在航空公司和美国联邦航空局，而机场并没有那么大，因此我们希望在 seatac改变这一点，并使其成为与所有必要合作伙伴真正合作的方法，以真正发挥作用，因此通过将所有这些结构化数据放入一个共同的运营图景中，所有利益相关者都可以看到，我们将能够利用更多相关信息实时做出决策，并预测我们在哪些方面存在这些延误。

这样我们就可以开始预测登机口何时可用，我们可以从航班离开其出发点一直往回看，它正在飞往我们的机场的途中，看看该航班是否会发生延误。

在这张图片的右侧，您可以看到一些早到的入境航班，它们将提前进入机场，用绿色突出显示，它们目前没有登机口冲突，所以如果他们早到了，没有登机口冲突。

但是如果你看到一个以红色突出显示的航班，它可能是一个可能会等待的航班，一旦它到达地面，可能需要一些不同类型的排序，所以这就是空中交通管制和美国联邦航空局成为在这项工作中的重要合作伙伴的原因，他们可以减慢那架飞机的速度，研究不同的等待机制，并给他们不同的方法来确保飞行不会在机场的地面上造成额外的拥堵。

因此，除了使用视频分析监控登机口和登机口发生的活动类型外，我们还在寻找观察机场内车辆运动的方法，因此在机场，我们有各种道路是允许车辆对这些航班提供维护服务，或者其他活动，所以能够识别热点以提高机场的安全性非常重要。此外，我们一直在机场进行维护并拆除停机坪的某些部分，因此如果我们能够更好地了解某些区域实际发生的交通量，我们将能够了解在维护期间是否会对机场航班进出造成影响，从而能更好地做出规划。

所以我认为西雅图是一个很好的例子，它不是一个普通的机场，而是一个典型的机场，就它们多年来的发展方式而言，早年，乘坐飞机的人少，机场每天的运营很少，所以复杂性相当低，几乎没有什么操作，通常操作机场的人可以看到窗外，基本上可以看到他们视野内发生的一切。但是现在，航空旅行基本上变成了一种商品，机场扩大了，运营也变得复杂了很多，时间压力也大了很多，机场的运营也变得更加困难，因为机场如果扩建了通常需要很长时间，花费很多钱，而且他们感觉自己跟不上航空旅行需求的增长。

所以我们看到的是运营几乎是黑匣子，所有这些症状都在容量不足方面，一些安全问题有点像冰山一角，其背后的原因是，机场和航空公司很难做出决策，尤其是综合决策，监督它们对彼此的所有影响，而这又是由以下事实引起的：几乎没有真正的实时数据。

今天实际发生在运营中，数据对于简化运营很重要，我喜欢与一级方程式赛车做比较，你知道飞机周转可以与一级方程式进站相比。要知道早年，没有做过优化，在没有很多数据驱动的日子里，也不是一个非常非常有效的进站，，但如果你今天看一级方程式，那么一切都已经完全优化，一切都是完全数据驱动的，有超过 300 个同时来自汽车的数据流，每个人都知道什么时候该做什么，这使得我们可以在我们在第二个进站看到的第一个进站之间实现这些巨大的性能提升。

这就是我们试图进入的领域，我们有人工智能软件，它基本上可以使用现有摄像机的视频流，然后将其转化为可用于简化操作的结构化数据，以提高安全性或整体对机场的效率产生积极影响。

我现在要做的是向您展示系统的现场演示，你在这里看到的首先是显示机场概况的地图视图，放大后，我可以看到不同的登机口和哪些航空公司这些门已经分配给我，我也可以直接看到哪些门被占用，哪些是空的，所以我可以直接得到那个概览。

如果我将鼠标悬停在其中一架飞机上，它实际上会给我信息，呃，我在看哪个航班，哪个站台是什么飞机类型，或者是入境航班号，或者始发地和出境航班号，以及目的地，这就是我们提供的一种初步的态势感知。

但是很明显我们都是来讨论人工智能和计算机视觉的，所以让我们在这里进入这个特定的航班，他们会拉出详细的航班信息屏幕，所以有些信息会像这里的航班信息一样重复，并且在右侧，您实际上可以看到特定航班的实时摄像头视图，在这个停机位上，我们有两个摄像头在左舷观察这个航班，一个在右舷观察，显然，有趣的部分是如何我们从该视频中创建数据。

这是该数据的可视化表示。所以你可以看到我们已经为这个特定的停机位激活的各种不同的事件，例如飞机在停车位上，垫块用了，餐饮是否安排等等，所以这里的灰线是当前时间线，所以我们可以看到我们在哪里，最酷的部分是如果我点击任何事件。

例如这个餐饮连接，它实际上会拉出系统捕捉到发生的那个时刻的图像，它还向我显示一个边界框，这是ai软件捕获的特定事件，我们可以看到开始的时间戳，我也可以直接到那个时刻，也可以向前或者向后看。嗯，这确实是餐饮车到达这里并连接到飞机的那一刻，我也可以直接进入离开的时间。

所以基本上我们为每个时间戳创建一个置信度，向用户展示他们可以依赖这个时间戳的程度，所以如果在某些情况下，有理由相信时间戳可能不准确，那么置信度通常会更低。

我猜飞机刚刚离开了这里，

在这里可以看到详细的航班信息部分，你还会看到此时屏幕的左侧是仍然是空的，它在通知周围，所以通知仍然需要部署。

这里展示的是一个小机场，目前没有航班在运行，但我向你展示这个的主要目的是，在这里的左侧你实际上可以看到不同的通知，所以我们所做的是我们与用户查看您对安全或准时性能和效率感兴趣的情况，例如，在这种情况下，未检测到出发前的活动， 这是机场标准操作程序的一部分，系统再次使用计算机视觉检测到在特定时间范围内没有活动，因此提醒用户这一事实，操作员可以联系地面服务人员，询问为什么没有发生这种情况，是否有原因。

我们正在为西雅图塔科马机场做的另一件事是我们很遗憾无法实时向您展示，这与车辆跟踪有关，尤其是对不一定希望被跟踪的车辆的跟踪。所以我们已经看到机场有很多活动，如果你不知道物体或车辆在哪里，那可能会导致危险情况，所以为了创建一个完整的实时概述，我们还使用可以俯瞰更宽停机坪的摄像头与我们的计算机视觉技术相结合，以基本上跟踪在停机坪移动的所有不同物体和车辆，显然您可以应用一些业务规则来正在生成的数据。例如，如果行李车在没有连接拖车的情况下开始移动，那么应该在界面中发出警报。我们使用了一种非常先进的地理定位算法，基于我们从相机获得的视觉图像，该算法也能够基本上再次确定每个对象的纬度和经度坐标。

这个的好处是，你能够把一双眼睛基本上 24小时*7天 地都盯着每个停机位，然后自动实时地知道发生了什么，并对兴趣点的情况发出警报。

我总结了一些用例，让您了解AI技术实际上是如何为这类各方提供运营和业务成果的。

首先，我提到的警报在这里是必不可少的，如果我们有航空公司的任何时间表，关于事情应该何时发生，或安全情况应该如何完成的 ，我们就可以检测到时间表，计划与实际发生的情况相比，会发出警报并将其直接发送给调度员。

这是一种方法，少走弯路，比如你期望这个时间点，餐车应该在飞机上， 您就可以直接知道而不是有人在某个时候询问该餐饮卡车在不在，但是很明显，通过建立这个数据库，您还可以对餐饮情况、加油情况，或我的航班的任何流程执行情况进行各种很酷的分析，每个航空公司的飞机类型或停机位是否存在差异，准时出发与以某种方式执行的某些流程之间的任何关联性。

所以第二个用例主要是围绕收集所有数据，然后你知道深入研究并找出某些飞机延误的原因，或找出不安全情况发生的原因，因为通常安全稽核只是偶尔发生，但一旦你有持续的安全稽核，你基本上可以调查所有这些情况并找到根本原因，进行根本原因分析以找出如何解决它，以及如何防止它们在未来发生。

所以有两个案例是围绕使用数据来寻找效率区域，你知道如果一架飞机拥有一个停机位，它的实际价值是什么，这意味着显然另一架飞机不能去那里，而且一架飞机在停机位上的时间越短，机场就可以安排更多的飞机。尤其是在西雅图这样的情况下，您的停机位受限，您正在尝试最大化资产利用率，并且您显然正在尝试最小化计划周转时间，您想要最小化的延迟，然后在周转之间总是有一个缓冲您还可以减少，一旦您的操作变得更加稳定，如果您的异常值和极端情况较少，您可能可以使用较少的缓冲区，这就是我们对欧洲主要机场所做的研究。

我们发现，如果您可以仅减少两分钟的缓冲时间，这实际上相当于在高峰时段增加一个额外的停机位，如果您可以从平均飞机延误中节省三分钟，相当于拥有两个停机位，这三个停机位取决于您的计算方式，但每年从飞机到机场的价值为 1100 万欧元。

如果您考虑他们可以额外收取的所有航空费用以及乘客坐在这些飞机上的商业费用，那么另一件很酷的事情是，我们实际上将视频视频分析功能与另一项人工智能技术相结合，我们将我们生成的所有数据与其他数据源一起使用，并且我们实际上使用机器学习算法来预测飞机何时会起飞。

这个起飞时间实际上是一个非常重要的里程碑，因为在那之前发生的所有事情都与飞机应该离开的时间或飞机预计离开的时间有关，例如，您不想过早提供服务，因为有些事情可能会变糟，因此航班起飞所需发生的一切都锚定在那个离开时间时刻，但之后的一切都锚定在飞机实际起飞时会被推回去，然后进入空域或滑行道进入跑道，然后最终进入空域，因此确切知道这架飞机何时离开对于所有相关利益相关者来说非常重要，而且更多准确的你知道，你可以更好地优化它周围的所有不同的流程。

我们发现，在我们将机器学习预测器与人类对飞机准备就绪时间的估计进行比较的所有不同场合中，我们总是设法在竞争中胜过它。谈到了一些安全问题，正如前面的经典案例，当某架飞机正朝着那个登机口飞去时，我们可以提醒地面管制员阻止那架飞机，并叫地面管制员把它带走。

我们之前谈到的优化之一实际上是通过对每架进场飞机的承受能力规划到一个停机位， 所以你作为一个机场不断试图把正确的飞机放在正确的停机位上，你越清楚飞机什么时候来，什么时候去，你就越好可以制定这个计划。

所以我越早知道飞机实际上会被延误，我就能更好地调整我的停机位计划并防止这些情况发生，它意味着飞机燃烧的煤油更少，航空公司的成本更低，二氧化碳也更少，这对可持续性发展有好处。

因此，对于欧洲的主要机场之一，我们所做的是优化了停机位规划，我们实际上发现我们可以减少他们实际运营所需的资源，这个表列出来，停机位的需求降低9%，减少 29 %牵引车，减少 55% 的摆渡车。