讲者:Adit Madan,项目维护者 @Alluxio
虽然云计算和Kubernetes的采用使计算变得异常容易,但是不同系统和云之间数据的不断扩展给数据工程师带来了新的挑战。从AWS S3或本地HDFS有效地访问数据变得更加困难,数据本地性也丢失了 - 如何高效地移动数据到计算节点,如何跨多个或远程云统一数据,等等。
开源项目Alluxio以一种新的方式处理这个问题。它帮助弹性计算工作负载实现云的真正好处,同时为Kubernetes精心安排的工作负载带来数据本地性和数据可访问性。Alluxio可以编排来自任何持久性存储的数据位置,包括Ceph等对象存储和AWS S3或GCS等云存储,并使其可用于在Kubernetes pod中运行的计算。作为一个无状态数据访问层,Alluxio作为原生服务运行,使得数据密集型计算工作负载Kubernetes变得友好。
在这次的网络研讨会上,Adit将提出在Kubernetes环境中为数据密集型计算工作负载带来数据本地性的新方法,并演示如何在Kubernetes中设置和运行Apache Spark和Alluxio。
视频
https://v.qq.com/x/page/m3006vy22cu.html
https://www.cncf.io/wp-content/uploads/2019/10/CNCF-Webinar-Series-%E2%80%93-Feeding-the-Kubernetes-beast_-bringing-locality-back-to-data-workloads.pdf
参与网络研讨会
CNCF网络研讨会是教育新成员和现有社区成员了解趋势和新技术的好方法。我们正在寻找项目维护者、CNCF成员、社区专家来分享他们的知识。网络研讨会是非推广性质的,专注于云原生空间中的教育和思想领导力。
有兴趣举办CNCF网络研讨会吗?请联络我们:webinars@cncf.io