机器之心投稿
作者:猿辅导研究团队语音识别负责人夏龙、机器学习工程师吴凡
近期,猿辅导公司开源了两个机器学习项目—ytk-learn, ytk-mp4j,其中 ytk-mp4j 是一个高效的分布式通信库...MPI 和 RPC,其中 MPI 是分布式高性能计算的标配,虽然效率非常高,但是对于开发分布式机器学习任务来说有很多缺点: 开发难度大、数据支持太底层、只能用 C/C++, Fortran 编写等等;...图 2 ytk-mp4j 特性概略
项目简介
ytk-mp4j 是基于 Java 的高效分布式机器学习通信库,实现了类似 MPI Collective 通信中的大部分操作,包含 gather, scatter...相比于 MPI, ytk-mp4j 扩展实现了一些非常实用的特性:
所有的通信操作都是基于最优算法实现 [1,2],性能非常高,同时支持多线程,多进程。...同样的功能,在 C/C++ 环境中,可能需要结合 MPI 和 OpenMP 才能实现
不仅支持基本的数据类型 (double, float, long, int, short, byte),而且还支持