专栏首页音视频技术当SRS遇到K8s:如何构建海量推流源站?
原创

当SRS遇到K8s:如何构建海量推流源站?

本文来自流媒体直播集群SRS的官方wiki(https://github.com/ossrs/srs/wiki/v4_CN_K8s),由SRS的创始作者杨成立授权发布。

文 / 杨成立

当SRS遇到K8s:快速构建高并发直播集群

本章描述了基于K8s,如何构建Origin Cluster支持超多推流场景。

Origin Cluster通过配置其他源站的信息,在本源站没有流时查询到流的位置,通过RTMP302定向到指定源站,具体原理可以参考#464。主要应用场景如下:

  • 源站灾备:即使流比较少,也可以用两个源站,这样可以将流分散到不同的源站,避免源站出现问题时影响所有的流。
  • 海量推流:单源站可以支持1000到3000路流,高码率的流支持的路数更少,有DVR和HLS时支持的路更少,源站集群有多个源站同时接收推流,可以支持10k~100k推流,参考规格。
  • 复杂源站业务:源站除了支持推流和拉流,还有重要的功能是DVR、转码、转HLS,DVR和HLS涉及磁盘,转码涉及CPU,都是容易发生瓶颈的资源依赖,源站集群扩展能力更强。

在这个场景下,对比K8s和传统使用方式的差异:

Step 1: 由于SRS和Nginx不在一个Pod可能也不在一个Node,需要创建依赖的PV(Persistent Volume)持久化卷,可购买NAS例如:

  • 驱动类型(PV driver):alicloud/nas
  • 挂载点(PV server),可在控制台创建、查看和复制:1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com
  • NFS版本(PV vers):3

在NAS基础上可以创建PV,以及PVC:

  • pv-nas,从NAS存储创建的PV,支持多写和多读,Pod不使用存储后会回收,也就是删除这些数据。
  • pvc-nas,SRS和Nginx源站使用的PVC,具有读写权限。读取SRS的静态文件和HLS并分发。
cat <<EOF | kubectl apply -f -apiVersion: v1kind: PersistentVolumemetadata: name: pv-nas labels:   pv: nfs-pvspec: capacity:   storage: 100Gi storageClassName: nas accessModes:    -ReadWriteMany    -ReadOnlyMany persistentVolumeReclaimPolicy: Retain flexVolume:   driver: "alicloud/nas"   options:     server: "1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com"      path: "/k8s"     vers: "3"     options: "nolock,tcp,noresvport" --- apiVersion: v1kind: PersistentVolumeClaimmetadata: name: pvc-nasspec: accessModes:    -ReadWriteMany storageClassName: nas resources:   requests:     storage: 100Gi selector:   matchLabels:     pv: nfs-pvEOF

Note:请将上面的挂载点(PV server)替换成你的。

Step 2: 创建SRS源站集群和Nginx源站应用和服务。

  • srs-origin-config: 创建一个配置k8s ConfigMap,存储了SRS Origin Server使用的配置文件。
  • socs: 创建一个Headless服务k8s service,基于Headless Service提供Origin服务,每个Origin都有自己的服务地址,例如srs-origin-0.socs,供内部Edge Server调用。
  • srs-origin: 创建一个有状态应用k8s StatefulSet,运行SRS Origin Cluster,HLS写入共享存储PV。
  • nginx-origin-deploy: 创建一个无状态应用k8s deployment,运行Nginx,将SRS静态文件写入PV,从共享存储PV读取HLS和静态文件。
  • srs-http-service: 创建一个服务k8s service,基于SLB提供HTTP服务,Nginx对外提供HLS服务。
  • srs-api-service: 创建一个服务k8s service,基于SLB提供HTTP服务,SRS第一个源站提供API服务,标签为statefulset.kubernetes.io/pod-name: srs-origin-0。
cat <<EOF | kubectl apply -f -apiVersion: v1kind: ConfigMapmetadata: name: srs-origin-configdata: srs.conf: |-   listen              1935;    max_connections     1000;   daemon              off;   http_api {       enabled         on;       listen          1985;    }   http_server {       enabled         on;       listen          8080;    }   vhost __defaultVhost__ {       cluster {           origin_cluster  on;           coworkers       srs-origin-0.socssrs-origin-1.socs srs-origin-2.socs;       }       http_remux {           enabled     on;       }       hls {           enabled         on;       }    } --- apiVersion: v1kind: Servicemetadata: name: socsspec: clusterIP: None selector:   app: srs-origin ports:  -name: socs-1935-1935   port: 1935   protocol: TCP   targetPort: 1935 --- apiVersion: apps/v1kind: StatefulSetmetadata: name: srs-origin labels:   app: srs-originspec: serviceName: "socs" replicas: 3 selector:   matchLabels:     app: srs-origin template:   metadata:     labels:       app: srs-origin   spec:     volumes:     - name: cache-volume       persistentVolumeClaim:         claimName: pvc-nas     - name: config-volume       configMap:         name: srs-origin-config     containers:     - name: srs       image: ossrs/srs:3       imagePullPolicy: IfNotPresent       ports:       - containerPort: 1935       - containerPort: 1985       - containerPort: 8080       volumeMounts:       - name: cache-volume         mountPath: /usr/local/srs/objs/nginx/html         readOnly: false       - name: config-volume         mountPath: /usr/local/srs/conf --- apiVersion: apps/v1kind: Deploymentmetadata: name: nginx-origin-deploy labels:   app: nginx-originspec: replicas: 1 selector:   matchLabels:     app: nginx-origin template:   metadata:     labels:       app: nginx-origin   spec:     volumes:     - name: cache-volume       persistentVolumeClaim:         claimName: pvc-nas     containers:     - name: nginx       image: nginx       imagePullPolicy: IfNotPresent       ports:       - containerPort: 80       volumeMounts:       - name: cache-volume         mountPath: /usr/share/nginx/html         readOnly: true     - name: srs-cp-files       image: ossrs/srs:3       imagePullPolicy: IfNotPresent       volumeMounts:       - name: cache-volume         mountPath: /tmp/html         readOnly: false       command: ["/bin/sh"]       args: ["-c", "cp -R ./objs/nginx/html/* /tmp/html/; sleepinfinity"] --- apiVersion: v1kind: Servicemetadata: name: srs-http-servicespec: type: LoadBalancer selector:   app: nginx-origin ports:  -name: nginx-origin-service-80-80   port: 80   protocol: TCP   targetPort: 80 --- apiVersion: v1kind: Servicemetadata: name: srs-api-servicespec: type: LoadBalancer selector:   statefulset.kubernetes.io/pod-name: srs-origin-0 ports:  -name: srs-api-service-1985-1985   port: 1985   protocol: TCP    targetPort:1985EOF

Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2,则会生成两个源站srs-origin-0.socs和srs-origin-1.socs,若新增了源站比如Replicas为3,则需要在配置中加上srs-origin-2.socs。

Remark:我们启动了一个srs-cp-files的container,拷贝SRS默认的文件,参考#1603.

Note:Origin Server在集群内部提供流媒体源站服务,内部域名为srs-origin-0.socs和srs-origin-1.socs,EdgeServer会通过该域名连接到OriginServer。

Note:Nginx通过SharedVolume(PV)读取SRSOrigin生成的切片,对外提供HLS服务。

Note:这里我们选择ACK自动创建SLB和EIP,也可以手动指定SLB,参考指定购买的SLB和EIP。

Step 3: 创建SRS边缘配置、应用和服务。

  • srs-edge-config: 创建一个配置k8s ConfigMap,存储了SRS Edge Server使用的配置文件。
  • srs-edge-deploy: 创建一个无状态应用k8s deployment,运行多个SRS Edge Server。
  • srs-edge-service: 创建一个服务k8s service基于SLB对外提供流媒体服务。
cat <<EOF | kubectl apply -f -apiVersion: v1kind: ConfigMapmetadata: name: srs-edge-configdata: srs.conf: |-   listen              1935;   max_connections     1000;   daemon              off;   http_api {       enabled         on;       listen          1985;    }   http_server {       enabled         on;       listen          8080;    }   vhost __defaultVhost__ {       cluster {           mode            remote;           origin          srs-origin-0.socssrs-origin-1.socs srs-origin2.socs;       }       http_remux {           enabled     on;       }    } --- apiVersion: apps/v1kind: Deploymentmetadata: name: srs-edge-deploy labels:   app: srs-edgespec: replicas: 4 selector:   matchLabels:     app: srs-edge template:   metadata:     labels:       app: srs-edge   spec:     volumes:     - name: config-volume       configMap:         name: srs-edge-config     containers:     - name: srs       image: ossrs/srs:3       imagePullPolicy: IfNotPresent       ports:       - containerPort: 1935       - containerPort: 1985       - containerPort: 8080       volumeMounts:       - name: config-volume         mountPath: /usr/local/srs/conf --- apiVersion: v1kind: Servicemetadata: name: srs-edge-servicespec: type: LoadBalancer selector:   app: srs-edge ports:  -name: srs-edge-service-1935-1935   port: 1935   protocol: TCP   targetPort: 1935  -name: srs-edge-service-8080-8080   port: 8080   protocol: TCP   targetPort: 8080EOF

Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2,则会生成两个源站srs-origin-0.socs和srs-origin-1.socs,若新增了源站比如Replicas为3,则需要在配置中加上srs-origin-2.socs。

Note:Edge Server的配置中,通过源站在HeadlessService注册的内部域名srs-origin-0.socs等等,连接到OriginServer。

Note:这里我们选择ACK自动创建SLB和EIP,也可以手动指定SLB,参考指定购买的SLB和EIP。

Step 4: 大功告成。你可以推拉流了,其中HLS流可以从Nginx(80)播放,RTMP和HTTP-FLV从SRS播放:

  • Publish RTMP to rtmp://28.170.32.118/live/livestream or to origin or to edge.
  • Play RTMP from rtmp://28.170.32.118/live/livestream
  • Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
  • Play HLS from http://28.170.32.118/live/livestream.m3u8

Note:请将上面的EIP换成你自己的,可用命令kubectlget svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。

Note:如果是自动创建SLB和EIP,那么HLS和RTMP/HTTP-FLV的IP是不一样的,你可以选择手动指定SLB,这两个服务可以用同一个SLB,参考指定购买的SLB和EIP。

这里我们选择的是有状态集群方式,也可以选择以无状态应用(Deployment)方式部署源站,区别在于每个源站都需要创建一个Deployment和Service,参考源站集群部署方式,例如:

  • 第0个源站,Deployment命名为srs-origin-0-deploy,ClusterIP服务命名为srs-origin-0。
  • 第1个源站,Deployment命名为srs-origin-1-deploy,ClusterIP服务命名为srs-origin-1。
  • 第2个源站,Deployment命名为srs-origin-2-deploy,ClusterIP服务命名为srs-origin-2。
  • 源站配置改成coworkers srs-origin-0 srs-origin-1 srs-origin-2;。
  • 边缘配置改成origin srs-origin-0 srs-origin-1 srs-origin-2;。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 当SRS遇到K8s:如何实现高可用、回滚与灰度发布?

    服务的更新、回滚和灰度,是个简单的问题,如果加上一个条件"不中断服务的前提下",那么就是一个难题,如果再加上"大规模",那么就是K8S要解决的核心问题之一。坏消...

    LiveVideoStack
  • 当SRS遇到K8s:如何实现高可用、回滚与灰度发布?

    服务的更新、回滚和灰度,是个简单的问题,如果加上一个条件"不中断服务的前提下",那么就是一个难题,如果再加上"大规模",那么就是K8S要解决的核心问题之一。坏消...

    LiveVideoStack
  • OpenCV中那些深度学习模块

    https://www2.tutormeetplus.com/v2/render/playback?mode=playback&token=846e0ba66b...

    LiveVideoStack
  • Spark wordcount开发并提交到单机(伪分布式)运行

    24-丰总
  • Spring应用上下文:ApplicationContext除了IoC容器角色,还提供哪些特性?

    通过上一篇BeanFactory和ApplicationContext比较发现,BeanFactory提供了配置框架和基本功能,ApplicationConte...

    码农架构
  • 发生技术冲突怎么办?一文教你解决办法

    技术冲突是技术出身的项目经理经常碰到的事情。一开始只是技术讨论,讨论着讨论着就变成了技术冲突。

    DevOps时代
  • MySQL/MariaDB基础性知识及DDL操作详解

    前言 MySQL/MariaDB是一个开放源码的小型关联式数据库管理系统,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,许多中小型网站为了降...

    小小科
  • 优雅地创建未定义类PHP对象

    在PHP中,如果没有事先准备好类,需要创建一个未定义类的对象,我们可以采用下面三种方式:

    硬核项目经理
  • GitHub 上的这几个项目或许能帮你学好英语

    一个掌握英语了的程序员,往往能比不懂英语的程序员更早了解到新的技术动态,接触第一手技术资料。

    五分钟学算法
  • GitHub 上的这几个项目或许能帮你学好英语

    一个掌握英语了的程序员,往往能比不懂英语的程序员更早了解到新的技术动态,接触第一手技术资料。

    GitHubDaily

扫码关注云+社区

领取腾讯云代金券