核对计费带宽及查询TOPurl

背景：

经常有客户对控制台计费带宽有疑问，下面我们介绍下如何核对计费带宽的问题。

概念：

首先我们先了解下日志流量跟计费带宽的关系跟区别：

1、日志流量：应用层日志统计出的流量。

2、计费带宽：日志流量+TCP/IP包头+TCP重传的流量。

①、TCP/IP包头的消耗：HTTP请求是基于TCP/IP协议的，互联网中，每个包的大小最大是1500个字节，而这1500个字节中，包含了TCP和IP协议插进来的40个字节的包头，包头部分也会产生流量，但是这个加包头的动作是由内核层的协议栈完成的，无法被应用层统计到，日志里也就不会记这40个字节的流量了，这部分的流量会占到通过日志计算出流量的2.74%（40/1460）以上，正常情况下，会占到3%左右。

②、TCP重传：根据互联网物理网络的负载情况，正常情况下，所发送的包会有3-10%左右会被互联网丢弃掉，被丢弃掉之后，服务器会对丢弃的部分进行重传，重传动作是由内核层协议栈处理的，应用层也无法统计到，这部分流量占我们日志计算出流量的比例，根据网络的好坏而不等，在凌晨互联网轻载的情况下，重传率会较低；在晚高峰互联网重载的时候，重传会上升，一般情况下，在3%-7%之间。

实际产生的网络流量比应用层统计到的流量要高出7%-15%，所以业界内计费带宽的方法都是用算出日志流量后乘以系数110%。

访问日志核对方法：

下载访问日志地址：https://console.cloud.tencent.com/cdn/log

访问日志一般延时4-6个小时，待日志上传完成后在进行统计，不然会导致数据有差异。

计费带宽计算方式：计费点5分钟流量和/1024/1024/300*8，单位是Mbps，根据访问日志算出各url的流量做累加

例：计算11月16号21:10-21:15之间的相同url的流量和

zcat host.gz |awk '$1>=20201116211000&&$1<20201116211500{print $0}'|awk -F "\001" '{sum[$4]+=$5}END{for(k in sum)print sum[k]" "k}'> url_size.txt

计算11月16号21:10-21:15 的带宽：

zcat host.gz |awk '$1>=20201116211000&&$1<20201116211500{print $0}'|awk -F "\001" '{sum+=$5}END{ print sum}'

得出的值/1024/1024/300*8 得出计费带宽Mbps

如果日志有特殊定制，需要修改命令行中的字段标识。

控制台带宽/流量费用计算方法：

先确定具体的计费方法、区域，然后查看五分钟粒度计费带宽/流量值：https://console.cloud.tencent.com/cdn/statistics/monitor

把对应值添加到价格计算器内：

https://buy.cloud.tencent.com/price/cdn/calculator

根据日志统计流量TOPurl

1、 根据实际情况做过滤；

命令：

cat url_size.txt |awk '$1>100000000{print $0}'|sort -r >top_url.txt

cat url_size.txt |awk '$1>10000000 && $1<100000000{print $0}'|sort -r >>top_url.txt

…………

控制台查询访问次数TOPurl

地址：https://console.cloud.tencent.com/cdn/statistics/monitor

控制台查询访问流量TOPurl

注：控制台统计url可以统计top1000，点击右侧的下载按钮可以导出excel表。