LinkedIn发布Dagli，这是Java的开源机器学习库

尽管机器学习的发展每天都在增长，但是来自Algorithmia的一项调查显示，大多数企业花费 8到90天的时间来部ML模型。大多数人将责任归咎于无法扩展，其次是模型可重复性方面的挑战，例如缺乏官方认可和工具不足。

LinkedIn最近开放了Dagli的源代码，Dagli是一种用于Java和其他JVM语言的机器学习库。该库使您可以轻松起草抗错误，可理解，可修改，可维护和可部署的模型管道，而不会招致技术负担。

有向无环图由顶点和边组成，每个边从一个顶点指向另一个顶点。使用Dagli，模型管道可表示为用于训练和推理的有向无环图。Dagli环境通过提供流水线定义（例如静态类型，几乎普遍存在的不变性和其他特征）来防止大多数可能的逻辑错误。

LinkedIn的自然语言处理研究科学家Jeff Pasternack表示，机器学习模型通常是集成管道的一部分。这使生产管道的建设，培训和部署更具挑战性。为了同时进行训练和推理，通常需要重复或外部工作来产生使模型的未来发展和维护变得复杂的无弹性胶粘代码。

Dagli在服务器，Hadoop，命令行界面，IDE和其他熟悉的JVM设置上运行。可以直接使用许多管道组件，包括神经网络，逻辑回归，FastText，梯度增强决策树，交叉验证，交叉训练，特征选择，数据读取器，评估和特征转换。

Dagli提供了通往易于维护的卓越功能和可投入生产的AI模型的途径。这为数据专业人员提供了可扩展的模型，该模型可以长期利用现有的JVM技术堆栈。对于经验不足的软件工程师，Dagli提供了可与JVM语言和工具一起使用的API，旨在避免常见的逻辑错误。

主要目的是创建易于编写，修改和部署的高效且可用于生产的模型。高效的生产避免了通常伴随的技术债务和长期维护挑战。Dagli使用现代的高度多核处理器和功能强大的图形卡来有效地单机训练这些真实模型。

在领英使LinkedIn公平工具包LiFT 可用后，Dagli被释放 。它是一个开源软件库，旨在测量AI和机器学习工作流程中的公平性。早些时候，LinkedIn还发布了DeText，这是一个用于与自然语言过程相关的排名，分类和语言生成任务的开源框架。它利用应用深度神经网络的语义匹配来学习搜索和推荐实践中的成员意图。

GitHub：

https://github.com/linkedin/dagli

资料来源：

https://engineering.linkedin.com/blog/2020/open-sourcing-dagli