光子盒研究院出品
训练数据的数量对于机器学习模型实现高精确度、泛化能力和预测能力至关重要。同时,全球存储的数据总量正以前所未有的速度增长,因此,对于机器学习算法来说,在可行的时间和内存范围内利用这些大规模的数据成为一个挑战。分布式机器学习是一个很有前途的解决方案,训练数据和学习过程被分配到多台机器上;因此,分布式算法自然地扩大了计算能力,也提供了一种处理收集到的内在分布式数据的方法。然而,这些算法需要在不同的机器之间进行广泛的通信,这通常会成为一个限制速度的步骤。因此,用于机器学习任务的高效通信方案引起了广泛的兴趣。
无论是在经典还是量子通道中的计算任务,两台机器之间的必要通信是由其通信复杂度来量化的;然而,到目前为止,量子算法只被研究为计算复杂度的加速器。
近日,MIT团队在《物理评论快报》期刊上发表了《分布式机器学习的通信效率量子算法(Communication-Efficient Quantum Algorithm for Distributed Machine Learning)》论文,开发了一种基于量子计数的方案,以通信复杂度执行分布式最小二乘法和softmax回归,比经典算法得到了平方根级别的改进。
与实现相同目标的经典和其他量子方法相比,这个方法在数据量扩展时具有通信优势。该方法的核心是量子二部相关算法(quantum bipartite correlator algorithm),可用于估计分布在两方当中的两个比特串之间的相关性或 Hamming 距离,并可进一步应用于其他信息处理任务。
总之,这篇论文为实现分布式机器学习的高效通信算法提供了很有前景的量子方法:大大降低了通信量,为大规模机器学习的实现提供了可行的新途径。
分布式量子计数或量子二部相关器方案的量子电路
在参数空间N、ε和M中,量子二部相关器算法、确定性和随机经典算法的通信复杂度相位图
参考链接:
[1]https://mp.weixin.qq.com/s/sNRObswghYcvUChLtGX9mg
[2]https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.130.150602
领取专属 10元无门槛券
私享最新 技术干货