统计分析问题

最近更新时间:2019-01-11 12:57:24

访问监控中的带宽数据是如何统计的?

各 CDN 节点会实时采集流量数据,上报至计算中心,汇总为域名总流量数据。按照时间周期,使用流量/时间,折算为带宽数据进行展示。
例如:

  • 某1分钟产生的总流量为6MB,则对应的带宽为(6 * 8)/ 60 = 0.8Mbps。
  • 带宽计费时使用5分钟粒度数据结算,则对应带宽值 = 5分钟粒度总流量 ÷ 300秒。

为什么监控流量与日志计算流量对不上,有什么区别?

加速域名日志中记录的下行字节数统计而来的流量数据,是应用层数据。在实际网络传输中,产生的网络流量要比纯应用层流量多5% - 15%。

  • TCP/IP 包头消耗:基于 TCP/IP 协议的 HTTP 请求,每一个包的大小最大是1500个字节,包含了 TCP 和 IP 协议的40个字节的包头,包头部分会产生流量,但是无法被应用层统计到,这部分的开销大致为3%左右。
  • TCP 重传:正常网络传输过程中,发送的网络包会有3% - 10%左右会被互联网丢掉,丢掉后服务器会对丢弃的部分进行重传,此部分流量应用层也无法统计,占比约为3% - 7%。

在业内标准中,计费用流量一般在应用层流量的基础上加上上述开销,腾讯云 CDN 取10%,因此监控流量约为日志计算流量的110%。

如何计算流量命中率?

CDN 默认为用户开启二级缓存(边缘层、中间层),只要由 CDN 任意一个层级命中,响应请求,则算做命中 CDN 节点。
流量命中率 =(总下行流量 - 回源流量)/ 总下行流量。

如何处理流量命中率偏低问题?

  • 检查是否进行了缓存刷新:缓存刷新会清空节点上指定内容,短时间会出现命中率下降的情况。
  • 检查源站是否上新资源:源站上新资源较多,会引起 CDN 节点回源,流量命中率会出现下降趋势。
  • 检查源站是否异常:若源站出现故障,5XX 或 4XX 较多时,也会影响流量命中率。
  • 检查缓存过期策略是否配置正确:查看控制台缓存配置中【缓存过期配置】部分,缓存过期规则优先级为从上到下,从低到高,即下部的缓存策略会覆盖上部的缓存策略。
  • 检查是否开启 Range 回源:查看控制台回源配置中【Range 回源】部分,若关闭了 Range 回源,会导致回源时拉取整个大文件,而不是按照请求时分片拉取,会拉高回源流量,从而影响流量命中率。
  • 检查是否开启过滤参数:查看控制台访问配置中【过滤参数】部分,若关闭了过滤参数,则按照全路径缓存,同一资源不同参数请求时,无法匹配会缓存多份,从而影响流量命中率。

状态码统计会统计所有产生的状态码吗?

会,CDN 统计分析新版上线后,只要源站产生的状态码,都会产生对应的监控曲线,方便您排查异常问题。

如何计算省份、运营商统计数据?

省份、运营商统计数据,是从访问日志中利用 client IP 信息计算而来,由于采用的是纯日志计算,因此累加起来与选择【全部省份】、【全部运营商】时,采用的计费数据存在一定差值,具体原因详情请参考【请参考上述第二个问题】。