Facebook开源Katran负载均衡器并公开Provisioning Tool

Facebook周二宣布推出两款扩展其DIY网络产品组合的新工具:Katran负载均衡软件和构建骨干网络的自动化系统,Zero Touch Provisioning。

Facebook七年前开创了Open Compute Project,专注于开放数据中心组件设计。它的软件开发人员也愿意分享他们开发软件的工作细节。本月,Facebook开源PyTorch,这是机器学习和人工智能项目的软件。

虽然PyTorch仍有一些问题尚待解决,但Katran已经过测试并准备就绪。

根据Facebook制作工程师Nikita Shirokov和软件工程师Ranjeeth Dasineni撰写的博客,Katran旨在解决公司以前负载均衡软件中的缺点,Katran主要来自开源软件,并已使用了四年。

博客中写道,Facebook的负载均衡器必须符合以下标准。首先,为了提高性能和灵活性,它需要能够Linux上运行。然后它必须与其他服务器服务共存,以消除对负载均衡器的专用服务器需求。它还必须允许低中断维护,因为Facebook的维护和升级“是一种规范,而不是例外。”最后,它需要提供简单的仪器和调试,以减少调试和解决问题的时间。

Shirokov和Dasineni表示,他们的第一个软件定义的负载均衡器“没有达到与其他服务共存的目标,尤其是后端。”

为了克服这个缺点,Facebook针对Katran完全重新设计了转发平面,其中包括两项最新的Linux内核开发:提供高性能可编程网络数据通路的XDP和扩展的Berkeley Packet Filter eBPF。

Katran部署在Facebook的后端服务器上,它帮助Facebook提高了网络负载均衡的性能和可扩展性,并且“在没有传入数据包时减少无用循环,例如繁忙循环”。他们写道,“通过与开源社区分享,我们希望其他人可以提高其负载均衡器的性能,并且还可以将Katran用作未来工作的基础。”

博客中列出了为了提高性能而引入Katran的一些“限制”,并说:“我们发现这些限制是相当合理的,而且并没有阻止我们的部署。“

Katran可以在GitHub的GNU通用公共许可证v2.0下载。

Facebook的Zero Touch Provisioning工具的细节来自Facebook的骨干自动化工具工程经理James Quinn编写的博客,以及Facebook网络工程师Joe Hrbek,Brandon Bennett和David Swafford指出,Facebook的网络跨越大陆并包含两个并行的IP骨干网络。

Facebook在构建网络时遇到了与解决负载平衡相似的问题,它所使用的供应系统无法胜任处理所需任务的规模和复杂性。

“最终,这些挑战促使Facebook的网络工程师为网络部署工作开发了一种全新的方法,”博客中写道。“我们称之为自动售货机(Vending Machine),这个名字的灵感来自于分配糖果和软饮料的机器。就Facebook的自动售货机而言,输入是设备角色、位置和平台,并弹出一个新配置的网络设备,准备提供生产流量。“

该博客表示,新框架使Facebook工程师能够更快地移动并更有创意地解决问题。

Zero Touch工具的开发仍在进行中,但Facebook已经在努力实现新目标,包括编排 Vending Machine设备作业组以建立或重建更大的网络,并持续自动重建其骨干网络。

该博客并未指明Zero Touch Provisioning是否开源,目前猜测它是专有的。但是,相信Facebook在未来会以开源的形式发布它。

原文发布于微信公众号 - SDNLAB(SDNLAB)

原文发表时间:2018-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

如何在三年内快速成长为一名技术专家

工作前三年是职业生涯中成长最快的几年,在这段时间里你会充满激情,做事专注,也容易养成良好的习惯。在我们公司有些同学在前三年中就快速成为某一个领域的技术专家,有些...

572
来自专栏数据科学与人工智能

【书籍】数据科学经典书籍

数据问题需要数据科学来解决! 什么是数据科学?没有一个统一的定义。简而言之,数据科学就是研究和解决数据问题。 不管你是数据挖掘工程师,还是数据分析师,还是算法工...

3479
来自专栏Java学习网

面对层出不穷的技术,我们就得这么干!

  俗话说一天不读书,没人看的出;两天不读书,开口会爆粗;三天不读书,智商输给猪。所以,为了让自己的“智商”保持在pig之上,都会逼着自己每天读点东西^_^。但...

27110
来自专栏新智元

【腾讯优图首度开源深度学习框架ncnn】主打手机端,同类cpu框架最快

【新智元导读】 腾讯 AI 三大支柱之一的腾讯优图实验室公布了成立以来的第一个开源项目ncnn,这是一个为手机端极致优化的高性能神经网络前向计算框架,无第三方依...

5699
来自专栏安恒信息

雅虎开始对数据中心进行加密:应对政府监听

北京时间4月3日早间消息,作为众多要求美国政府修改监视法律的科技公司之一,雅虎周三宣布,该公司将采取额外的安全措施保护其所处理的数据。该公司表示...

3176
来自专栏腾讯技术工程官方号的专栏

腾讯报告TensorFlow首个安全风险 谷歌确认并致谢

日前,腾讯发现谷歌人工智能学习系统TensorFlow存在严重安全风险,可被黑客利用带来安全威胁。据悉,该风险是TensorFlow首个自身安全风险,腾讯安全...

1989
来自专栏数说工作室

【概率论-上帝的赌术】第二话:大数定律,看不见的神的秩序

本系列是数说君去年10-11月发布在微博上的漫画趣文,本次发布的微信的版本经过了一些修改,供大家回顾。本系列旨在趣解一些基本概率和统计知识,非学术探讨,不能替代...

3577
来自专栏PPV课数据科学社区

不要担心没数据!史上最全数据集网站汇总

本文将为您提供一个网站 资源列表,从中你可以使用数据来完成你自己的数据项目,甚至创造你自己的产品。

763
来自专栏技术翻译

大数据建模方法的比较

在DT时代,互联网,智能设备和其他形式的信息技术的爆炸性增长使得数据以同样令人印象深刻的速度增长。这个时代的挑战似乎是如何对所有这些数据进行分类,组织和存储。

2942
来自专栏新智元

机器学习项目实践:30+ 必备数据库(预测模型、图像分类、文本分类)

【新智元导读】有了好的数据,机器学习项目也就成功了一半。希望这份资源清单有助于那些寻找机器学习项目实践的人。对于初学者来说,这绝对是一个金矿。确保你在业余时间选...

3516

扫码关注云+社区