成员网研会：使用Alluxio改进Kubernetes上分析工作的数据本地性（视频+PDF）

讲者：Gene Pang，PMC维护人员 @Alluxio，Adit Madan，软件工程师 @Alluxio

在on-prem时代，Apache Hadoop或Apache Spark工作负载的一个关键性能优化是在具有本地HDFS数据的节点上运行任务。然而，尽管采用云和Kubernetes使计算工作负载的扩展异常容易，但HDFS通常不是一个选项。随着数据位置的丢失，从AWS S3甚至本地HDFS等云存储服务中有效地访问数据变得更加困难。

源于UC Berkeley AMPLab的开源项目Alluxio以一种新的方式解决了这个问题，它帮助将数据移动到更接近计算工作负载的地方，并跨多个或远程云统一数据等等。这个网络研讨会将描述在Kubernetes使用Spark+Alluxio栈来增强数据本地性的概念和内部机制，即使存储服务在外部或远程。

我们会特别地讲到：

• 为什么Spark能够在使用主机网络在K8s环境中使用Alluxio时制定本地感知调度
• 为什么使用域套接字和主机路径卷运行的pod可以与同一主机上运行的pod Spark有效地共享数据
• Alluxio的路线图进一步改善了运行分析工作，如Spark和Presto，包括与Presto的进一步集成

视频

PDF

https://www.cncf.io/wp-content/uploads/2020/01/Alluxio-K8s-locality-CNCF-Jan-2020.pdf

参与网络研讨会

CNCF网络研讨会是教育新成员和现有社区成员了解趋势和新技术的好方法。我们正在寻找项目维护者、CNCF成员、社区专家来分享他们的知识。网络研讨会是非推广性质的，专注于云原生空间中的教育和思想领导力。