阅读笔记 | A Brief Introduction to Edge Computing and Deep Learning

info: B. Christophe, “A Brief Introduction to Edge Computing and Deep Learning,” Nov. 28, 2020. https://medium.com/swlh/a-brief-introduction-to-edge-computing-and-deep-learning-5af8c50e2f5c (accessed Jul. 16, 2023).

这篇博文由浅入深，从边缘计算和深度学习的重要性开始论述，接着介绍了边缘计算的两个主要范式，并以COSMOS智能路口例子引出了边缘深度学习的五项基本技术，最后罗列了边缘深度学习目前存在的问题和挑战。

1.1 两个范式

范式指的是一个领域里被人们广泛接受的思想体系、理论体系或方法论。而边缘计算的两个范式就是两种实现边缘计算的理论方法体系，两者常结合使用。

• 边缘智能：将计算负载分散到具有一定算力的终端设备
• 智能边缘：在网络边缘增加新的基础设施提供存储与算力

1.2 五项基本技术

• 应用框架：系统组织运行并提供服务的框架，例如智能交通检测应用。可以完整的大模型放云端、小模型放边缘、大模型拆开放云和边。
• 学习推理：深度学习在边缘计算架构中的实际部署和推理。适当在边缘处理可以减少云端推理压力，例如完全在边缘层查找RoI和进行对象识别。
• 计算支持：在网络架构、硬件（CPU, GPU, FPGA, ASIC)和软件方面调整边缘计算平台以支 持深度学习计算。
• 边缘训练：在资源和隐私限制下，为分布式边缘设备的边缘智能训练 DL 模型。主要是分布式训练，如分布式随机梯度下降和联邦学习。
• 维护管理: 深度学习在维护和管理边缘计算网络（系统）不同功 能中的应用，例如边缘缓存、计算卸载。

1.3 个人思考

• 边缘计算的必要性：边缘计算具有缓解云端深度学习存在的传输、隐私、鲁棒性等方面的问题的作用，并非网络性能提升就可以被替代的。就算网络条件理想，达到了高带宽低时延的要求，其依然可以作为补充，使得终端不依赖云，从而使系统有一定的弹性。此外边缘计算可以减少与云的数据数据传输，可以节省成本。
• 边缘计算与大语言模型训练：对于需要大量算力、语料，同时需要注重数据隐私的大语言模型预训练，也许可以利用云边协同计算帮助进行。边缘计算可以很好地利用边缘算力以及终端用户语料，同时数据隐私保护更是其应有之意。但建立起这样一个云边协同的大语言模型预训练系统存在诸多挑战，其必要性有待验证。
• 边缘深度学习的实现：文章对于边缘深度学习的介绍，尤其是对于模型训练和部署方面，将计算负载在云、边和端间进行均衡，并将大DL模型拆分部署这块内容，验证了我的猜想，加深了我对边缘深度学习的理解。