阅读笔记 | Distributed Inference with Deep Learning Models across Heterogeneous Edge Devices

info: C. Hu and B. Li, “Distributed Inference with Deep Learning Models across Heterogeneous Edge Devices,” in IEEE INFOCOM 2022 - IEEE Conference on Computer Communications, London, United Kingdom: IEEE, May 2022, pp. 330–339. doi: 10.1109/INFOCOM48880.2022.9796896.

1.1 背景

随着深度学习在各种任务中的广泛应用,将模型部署到边缘设备进行推理非常重要。但是直接在资源受限的边缘设备上使用复杂的深度学习模型进行推理可能会很慢。因此,通过分布式推理来加速非常必要。

1.2 现有方法的缺点

现有方法假设深度学习模型是简单的层链式结构，然而现代深度学习模型采用DAG来表示层关系。也有方法试图将DAG转化为链,这对简单的DAG可能有效,但无法处理更复杂的DAG结构模型。

1.3 要解决的问题

• 现有方法无法处理DAG结构的复杂深度学习模型的大方向问题
• 考虑依赖关系的模型各层的划分决策问题

1.4 文章主要贡献

• 提出EdgeFlow,这是一种面向通用DAG结构深度学习模型的新分布式推理机制
• 设计了执行单元的概念,通过转发表维护层依赖关系
• 提出了渐进模型划分算法,逐层最优地将模型划分为执行单元
• 将考虑依赖关系和计算负载等的划分问题从IP问题化简为LP问题进行高效近似求解
• 实现并评估了EdgeFlow,结果表明其大大减少了推理延迟,即使对复杂的DAG也非常有效

1.5 个人思考

• 文章的工作对于边缘深度学习很有启发，尤其是作者对于层依赖关系和计算负载等约束条件的考虑，使得edgeflow可以很好地帮助解决模型在  推理阶段的云边协同问题。这也启发我思考，能否在训练阶段进行拆分，使得原始数据输入被处理和表示后再提交给云端进行进一步的训练处理。