现今使用七个大数据平台玩转直播实时质量监控

背景

去年（2016）被称为“直播第一年”。各种移动直播平台不断涌现，不断满足人们对高交互性、高实时性的新媒体载体的需求。现场直播涉及到很多方面，如推流、网络传输、节点调度、流处理和回放等。建立一个能监控每个环节性能的系统是不容易的。目前，七现场直播云已经建成了一个完整的内部数据监控平台，实现了智能调度、按需扩容和大容量故障实时流化网络。我们叫它LiveNet。LiveNet完美地解决了现场的三大痛：高技术门槛，高成本，高纸箱延误率。

然而，在实际的对接和服务客户的过程中，各种问题是不可避免的，如Caton、马赛克、华坪、黑、无噪音、同步等。其中一些问题是由传输链路引起的，其中一些是由用户的姿态引起的，其中一些是由参数配置错误引起的，还有一些是动态SDK本身的问题。在很多情况下，如果没有足够的数据提示来支持在线用户反馈之类的问题，直播平台开发者通常有两张脸和许多黑点。定位问题只能靠猜测。通常，当直播客户不建立自己的现场质量监控系统时，七牛云专业技术服务团队是客户消除障碍的首选。对于大多数常见的问题，七牛云技术支持可以提供快速的建议，如帮助查询实时流的实时状态，并判断锚的稳定性。

然而，由于七直播云直播技术的支持，没有直接访问所有现场用户的最终用户。在问题调查过程中，不可避免地会出现信息不对称，从而增加了通信时间的成本。尤其是在线直播的问题是突发性的，如果直播平台的开发者没有系统的自我检查方式，就会使直播平台的用户体验急剧下降。那么，你需要什么来建立一个现场质量监控系统呢？下面将详细地为您解析。

直播质量监控系统

一般来说，如果你想建立一套现场质量监控系统，需要采取以下步骤。

在 App 端埋点，收集由直播 SDK 回调的音视频帧率、码率等与直播质量相关的数据，并进行上报；建立一个收点的网关，如果数据量太大，还需要 Kafka 等队列做数据缓存；搭建 HDFS 、 Elasticsearch 等存储服务，将接收的 QoS 数据转存到这些存储系统；搭建一套实时/离线数据流分析服务；数据可视化展示、告警系统。

为了实现上述功能，不仅需要有一个大数据背景的资深技术团队和客户支持团队，开发周期长，在系统启动仍然需要继续投资能源响应如迭代持续维护，逐渐增加的数据量；如果不考虑平台横向扩展，许多开源组件崩溃之前可能使投资风险。

那么，有没有一种方法可以使大多数的质量控制功能不需要建立你自己的轮子呢？现在，我们给出肯定的答案！借助七牛大数据平台潘多拉和七牛现场云SDK集成的QoS质量报告模块，七现场直播云用户可以快速创建属于自己的实时现场质量监控系统，实现各个维度的自我分析能力。

七大奶牛数据平台潘多拉

七牛大数据平台 Pandora 是一套面向海量数据，能够让基础技术人员轻松管理大数据传输、计算、存储和分析的大数据 PaaS 平台，提供简单、高效、开放的一站式大数据服务，核心服务及功能包括大数据工作流引擎、时序数据库、日志检索服务、Spark 服务、报表工作室。同时提供了海量离线数据分析等众多大数据分析工具支持，并结合七牛云生态，赋能应用大数据的核心能力，让用户可将资源精力聚焦于业务价值提升而无需担忧复杂的大数据技术和部署运维难题。

生活质量

直播质量实时报告模块是每一个高质量实时SDK的必要组成部分。它对提高直播SDK的性能和现场直播网络的节点调度策略和链路质量起着重要的作用。QoS模块七牛云住SDK使我们能够对最终用户连接节点进行实时监控，了解流失败的时候，卡顿卡顿的数量和长度。通过将推流性能实时监控与服务器实时调度系统相结合，实现了用户流和推流节点的调整。

如何启用七牛活品质监测服务

现场云SDK集成第一，请确保您的现场应用程序集成了最新版本的七牛推/播放SDK。是的，在移动端，你要做的就是这么简单！

创建Grafana App

我们为你提供一个装grafana配置完成以上步骤后，已经万事俱备，只活质量日志继续报告。

在这一点上，你已经可以：

在Grafana，精细到每一个流程的质量变化曲线的观察。通过强大的日志检索功能的潘多拉日志服务logdb提供，我们可以迅速追溯每一个流程或数据的用户设备。

Grafana的数据显示

目前，我们已经为您建立了五个现场质量统计场景，即推送状态、服务器状态、游戏区统计、PlayStation终端跟踪和区域运营商状态。

每一个质量指标曲线的变化和每一个推送视频的帧速率和速率的实时变化

区域运营商的平均推流质量曲线可以很快地了解某一地区和运营商的整体现状。

播放终端质量曲线，检查整体播放质量变化，或监视单个设备的播放指标。

在区域运营商中直播流的广播流质量曲线，以便在每个城市和运营商中监控每条流。

推流加速节点的平均质量曲线用于判断流节点负载的变化是否导致现场质量的变化。

应该指出的是，这些内置的场景只是QoS数据应用的一小部分，你可以根据需要扩大或增加Grafana Dashboard，并专注于你想要的质量维度。

logdb生活质量日志检索

事实上，生活质量日志引入潘多拉logdb日志检索服务之前，它的可视化。您可以登录到七牛的官方网站，并在日志检索模块中进行实时质量日志搜索。LogDB是无缝兼容Elasticsearch协议，你也可以用Kibana应用日志检索我们给你。通过质量日志搜索，您可以进行各种各样的实时问题查询，例如基于设备ID的单用户日志回溯和用户级直接播种。

直播

那么这些可视化和日志搜索是如何实际应用的呢？接下来，我们将说明这些数据可以直接应用到位置提供商，以帮助现场直播平台的用户快速、快速地帮助自己。

假设一个主机平台进行直播，现场反馈卡尔顿，技术人员的第一平台访问ID锚，然后在流量仪表Grafana，过滤掉这些流量，流量曲线如下：

从时序图可以看出，音频和视频在几个时间点的帧速率和速率降到0，并且有一定的波动性。那么，这种波动的原因是什么呢？锚网不稳定吗？主机是否将后台应用程序返回后台进行其他操作？或者推送流的节点超载了？

为了回答上述猜测，现场技术客户服务日志检索服务用于进一步的问题跟踪。这是在LogDB的ID搜索和备份锚推流的行为。

通过搜索锚设备现场质量记录报告，可以在音频和视频的传输速率下降到0倍，音频和视频编码的帧速率是0，和视频传输缓冲区的缺失率为0，这是由于网络问题发送帧的锚，但生活APP回背景音频和视频采集的悬浮。在这个时候，基本上可以通过主机自己的背面来判断可怜的现场泛，平台可以帮助纠正主机的使用。

此外，如果所有的情况表明主机的网络质量良好且操作正常，则可以观察到实况流的连接节点。如果节点的其他节点有相似的波动，则证明节点的负载太重，这样我们可以调度这些流的流节点，以优化推流的质量。

在上面，通过一些简单的查询，直播平台可以帮助单个用户定位和定位问题，大大缩短了在线问题的解决期，提高了平台的用户体验。

报警设置

此外，我们还为您提供了Grafana各种报警功能。使您能够监督直播质量指标的重点，积极发现和解决问题。

我们还展示了在场景中使用警报。例如，您可能关心回放终端的平均接收比特率，因为它直接关系到用户的视觉体验。假如你期望的播放速度的平均值应在800kbps，所以你可以设置该指标报警监控。如下：

当平均播放速率小于期望值时，您将收到如下警告消息。此时，现场平台的操作和维护可以快速响应，查看问题的原因。

啊，原来就是这样！

然后，基于潘多拉大数据平台的现场质量监控启动后，如何在客户面前实时处理和显示客户的质量数据？以下是你的秘密。

过滤用户数据

生活质量数据的报道后客户端将进入服务接收消息队列（卡夫卡），使用一个内部数据收集服务，我们从消息队列根据流量实时域滤波和拉QoS的数据与不同的客户，给潘多拉大量的对应账户根据工作流。

事实上，潘多拉本身提供了一个强大的通用数据采集工具，它适用于各种日志数据收集场景。例如，我们可以快速建立nginx日志分析和报警平台，可以在10分钟内进行海量数据。

潘多拉工作流数据处理

当你的生活logkit报道潘多拉QoS的数据，它会自动创建以下大数据工作流，这是直接出口到下游logdb QoS数据日志检索服务。潘多拉还提供了许多其他导出选项，比如导出到七个牛对象存储，它可以保存完整的卷日志。它还可以将日志转发到您自己的HTTP服务，使实时质量数据能够在您自己的服务框架中使用。

分析维度扩展

使用大型数据分析工作流引擎，可以使用报表对数据源中的QoS数据进行更多维度的定制，只有在实时工作流中进行新的转换计算任务，才能对数据进行进一步的聚合处理，派生出更多的维度数据。例如，我们甚至可以使用QoS数据进行简单的操作统计分析，例如活动用户号。我们只需要创建下面的计算任务，再加上一个简单的SQL代码，我们可以计算出每个省份每五分钟有一个活跃用户的数量。结果可以出口到LogDB，时间序列数据库，七牛的对象存储或本地HTTP服务。潘多拉直播质量分析结果将返回您的平台着陆。

离线分析

除了使用实时工作流分析，您还可以创建脱机xspark分析很多更长的海量数据。看到“xspark使用”。

后记

如果你已经是现场直播的七颗直播云，你只需要联系七牛潘多拉团队申请开放。之后，我们将为您提供现场广播质量数据监控应用程序。

如果您使用的是现场七现场SDK，那么不用担心。我们正在准备一个实时数据埋SDK，以方便您作出相应的定制现场质量数据报告。为了确保您的数据隐私，SDK将全部公开透明。同样，欢迎与我们联系，并与我们交流监测现场质量的要求。