从“风口”到“幕后”，基于边缘设备的垂直小模型（边缘人工智能）可行性思考

目前高速公路的部分机电设备的物理性能不低，尤其是最近几年很多物联设备，其实硬件资源浪费还是挺大的。前端机电设备采集到数据以后，是否可以采用人工智能技术扩展设备的整体应用场景和功能，是大家增加亮点的一个思考方向。

我们清楚知道，边缘设备自身存在的算力、存储及实时性等方面的限制，使得纯大模型部署困难重重，面临着算力成本高昂、实时性欠佳以及数据适配性差等严峻挑战。

例如一个7b参数的大模型在边缘端运行时，处理单路视频就需要数秒时间，难以满足多路并发处理的需求。

业内的普遍共识是大小模型结合，小模型用于前置过滤，大模型进行深度理解，二者相辅相成，实现成本与效率的平衡。

以烟火检测为例，小模型先对视频流进行初筛，过滤99%的常规画面，大模型则补充小模型算法精度问题。大模型可以将误报从15次降至1次，将95%的误报过滤掉。

下面本文以采用“边缘小模型”或“轻量化大模型”的思路来实现高速公路隧道控制节点的故障分析为前提进行讨论。

当前成熟产品的解决方案还是依赖于将大量原始数据传输到云端进行分析和处理。这种方法不仅消耗带宽和功耗，还会造成检测和响应延迟。

在某些情况下，数据需要以特定的时间间隔手动收集，因此数据收集之间存在显著的时间间隔。

当然，一些好的省份，机电设备的故障分析与数据处理采用云端协同方案，部分功能强的机电设备做实时监测和简单规则报警；复杂分析（如根因定位）由云控平台（或云端大模型）处理，充分结合了结合边缘的实时性和云端的强大分析能力，但是依赖网络，无法在断网时进行复杂分析。

随着AI的快速发展，必须考虑边缘机电设备的智能化升级，也就是边缘人工智能。

边缘人工智能通过将人工智能直接嵌入机电设备本身来解决这些问题，基于过去机器行为训练的机器学习模型可以在本地运行，检测供电、网络或图像的异常，而无需持续的云端通信。

“过去机器行为” 指的是设备或机器在正常运行、正常工作状态下所产生的历史数据、模式和特征，具体是指那些被传感器、控制器、摄像头等设备记录下来，能够反映机器“健康”或“标准”运行状态的具体数据。

这种本地化推理可以显著提高预测系统的响应能力，同时节省了网络资源。

基于边缘人工智能的一个关键优势在于其能够随着时间的推移不断学习和适应。当机器在故障前表现出细微的行为变化（例如异常的网络波动）时，人工智能算法可以识别出这种模式。

如果类似问题再次发生，系统将识别出其特征，这是一个理想情况下的应用思考，我们可以多学习智能制造领域的应用还是有一定借鉴意义。

那么如何实现一个快速落地的边缘人工智能应用呢？

这里面有两个路径：

1.使用专用的小型AI模型，训练一个专门用于时序数据（电压、在线状态）分类的小模型（如TinyML），优势在体积小（MB级）、推理速度快（毫秒级）、功耗极低，劣势在需收集数据并训练模型，通用性不如大模型。但是适配度特别高，特别适合嵌入式ARM架构的物联设备使用。

（TinyML不是一个具体工具，而是一种在超低功耗微控制器（MCU）上运行ML模型的技术范式，代表框架包括TensorFlow Lite for Microcontrollers和Edge Impulse）

2.采用轻量化大模型技术，使用经过量化、剪枝等大幅压缩后的微型大模型（如1-3B参数以下），优势在保留一定的自然语言理解和推理能力，但是对开发人员极具挑战，需深度优化。

通过简单对比，采用专业小模型是一个成熟而且成本较低的路子。正是因为小模型则凭借“小而精”的特性，在边缘端占据着传统优势，其训练数据量需求少、推理速度快（可达毫秒级）、硬件兼容性强。

通过资料检索，有一个落地方案是使用百度飞桨（PaddlePaddle） 的EasyDL或EasyEdge平台训练并生成适用于ARM Linux的轻量化模型SDK，这在ARM Cortex-A7上成功部署过。

当然也可以使用TensorFlow Lite for Microcontrollers或PyTorch Mobile等框架，我还是比较倾向这种开源成熟框架。

TensorFlow Lite是Google推出的移动和嵌入式设备专用推理框架，它将训练好的TensorFlow模型转换为.tflite格式，在设备端高效执行。TensorFlow Lite在移动/嵌入式设备上高效运行已有模型，支持转换复杂模型（CNN、LSTM等），

整体实时路径是就是收集并标注数据，例如，标记哪些电压波动模式对应“市电干扰”，哪些摄像机离线序列对应“交换机故障”。

使用上述平台或框架训练一个小型分类模型（如卷积神经网络CNN或时序模型），并利用工具将其转换为可在ARM Cortex-A7上高效运行的格式（如INT8量化）。

将编译好的模型文件、推理库和一份简单的推理服务程序（可用C++或Python）部署到板卡上，根据实际运行情况，持续收集数据，优化模型。

工作流就是：TensorFlow模型训练 → TFLite Converter转换 → 部署到ARM Linux → 调用GPU委托加速推理。

先训练一个稍复杂的时序模型（如小型LSTM）分析机电设备的电压和离线序列模式，再压缩为TFLite格式，然后在边缘设备的任务中，调用TFLite推理，技术链通畅。

我们知道，高速公路几十年来，定期维护一直是机电人员抵御设备故障的第一道防线。

然而，僵化的维护间隔往往导致设备维护过早或过晚，那是信息化时代的机制，随着信息技术的发展，也许基于人工智能的针对性维护才是数字时代高速运维的解决路径。