日志下载

最近更新时间:2020-02-12 14:38:56

功能介绍

将域名接入内容分发网络(CDN)后,所有用户侧资源请求将调度至 CDN 节点进行响应,若节点已缓存该资源,则直接返回内容,若 CDN 节点均未缓存该资源,会将请求透传至域名配置的源站,拉取所需资源。

由于 CDN 节点响应了绝大部分的用户请求,为了方便客户对用户访问进行分析,CDN 对全网访问日志进行了小时粒度打包,默认存储 30 天,并且提供下载服务。

说明:

暂时仅提供节点访问日志,不提供回源日志。

适用场景

访问行为分析

客户可以通过下载访问日志,按自身需要进行热门资源分析、活跃用户分析等。

服务质量监控

通过下载访问日志,可以掌握全盘 CDN 节点服务状态,计算平均响应时间、平均下载速度等指标。

操作指南

使用方式

登录 CDN 控制台,单击左侧目录的【日志服务】,可选择域名、时间进行访问日志查询,支持勾选多个日志包,批量下载到本地:

注意:

  • 访问日志默认按小时打包,若某个小时里域名无任何请求,则不会产生该时间区间的日志包。
  • 同一个域名的境外访问日志跟境内访问日志是分开打包的,日志数据包的命名格式为 “时间-域名-加速区域”。
  • 访问日志从各 CDN 加速节点收集而来,因此延迟上各有差异,一般情况下日志包可查询、下载延迟约30分钟,日志包会不断追加,一般2 - 3小时后趋于稳定。
  • 域名历史访问日志仅保留 30 天内的日志包,您可以按照以下 指引,利用 SCF 函数将日志包转存至对象存储 COS,进行永久存储。

字段说明

日志中对应的字段顺序(从左到右)及含义如下表所示:

顺序 日志内容
1 请求时间
2 客户端 IP
3 域名
4 请求路径
5 本次访问字节数大小,包含文件本身大小及请求 header 头部大小
6 境内日志代表省份编号,境外日志代表地区编号(映射表见下文)
7 境内日志代表运营商编号,境外日志统一为 -1(映射表见下文)
8 HTTP 状态码
9 Referer 信息
10 响应时间(毫秒),指节点从收到请求后响应所有回包再到客户端所花费的时间
11 User-Agent 信息
12 Range 参数
13 HTTP Method
14 HTTP 协议标识
15 缓存 HIT/MISS,在 CDN 边缘节点命中、父节点命中均标记为 HIT

区域 / 运营商映射表

境内省份映射

区域 ID 地区 区域 ID 地区 区域 ID 地区
22 北京 86 内蒙古 146 山西
1069 河北 1177 天津 119 宁夏
152 陕西 1208 甘肃 1467 青海
1468 新疆 145 黑龙江 1445 吉林
1464 辽宁 2 福建 120 江苏
121 安徽 122 山东 1050 上海
1442 浙江 182 河南 1135 湖北
1465 江西 1466 湖南 118 贵州
153 云南 1051 重庆 1068 四川
1155 西藏 4 广东 173 广西
1441 海南 0 其他 1 港澳台
-1 境外

境内运营商映射

运营商 ID 运营商 运营商 ID 运营商 运营商 ID 运营商
2 中国电信 26 中国联通 38 教育网
43 长城宽带 1046 中国移动 3947 中国铁通
-1 境外运营商 0 其他运营商

境外地区映射

区域 ID 地区 区域 ID 地区 区域 ID 地区
2000000001 亚太一区(服务地区) 765 斯洛伐克 1613 安哥拉
2000000002 亚太二区(服务地区) 766 塞尔维亚 1617 科特迪瓦
2000000003 亚太三区(服务地区) 770 芬兰 1620 苏丹
2000000004 中东(服务地区) 773 比利时 1681 毛里求斯
2000000005 北美(服务地区) 809 保加利亚 1693 摩洛哥
2000000006 欧洲(服务地区) 811 斯洛文尼亚 1695 阿尔及利亚
2000000007 南美(服务地区) 812 摩尔多瓦 1698 几内亚
2000000008 非洲(服务地区) 813 马其顿 1730 塞内加尔
-20 亚洲(客户端地区) 824 爱沙尼亚 1864 突尼斯
-21 南美洲(客户端地区) 835 克罗地亚 1909 乌拉圭
-22 北美洲(客户端地区) 837 波兰 1916 格陵兰
-23 欧洲(客户端地区) 852 拉脱维亚 2026 中国台湾
-24 非洲(客户端地区) 857 约旦 2083 缅甸
-25 大洋洲(客户端地区) 884 吉尔吉斯斯坦 2087 文莱
35 尼泊尔 896 爱尔兰 2094 斯里兰卡
57 泰国 901 利比亚 2150 巴拿马
73 印度 904 亚美尼亚 2175 哥伦比亚
144 越南 921 也门 2273 摩纳哥
192 法国 926 白俄罗斯 2343 安道尔
207 英国 971 卢森堡 2421 土库曼斯坦
208 瑞典 1036 新西兰 2435 老挝
209 德国 1044 日本 2488 东帝汶
213 意大利 1066 巴基斯坦 2490 汤加
214 西班牙 1070 马耳他 2588 菲律宾
386 阿联酋 1091 巴哈马 2609 委内瑞拉
391 以色列 1129 阿根廷 2612 玻利维亚
397 乌克兰 1134 孟加拉 2613 巴西
398 俄罗斯 1158 柬埔寨 2623 哥斯达黎加
417 哈萨克斯坦 1159 中国澳门 2626 墨西哥
428 葡萄牙 1176 新加坡 2639 洪都拉斯
443 希腊 1179 马尔代夫 2645 萨尔瓦多
471 沙特阿拉伯 1180 阿富汗 2647 巴拉圭
529 丹麦 1185 斐济 2661 秘鲁
565 伊朗 1186 蒙古 2728 尼加拉瓜
578 挪威 1195 印度尼西亚 2734 厄瓜多尔
669 美国 1200 中国香港 2768 危地马拉
692 叙利亚 1233 卡塔尔 2999 阿鲁巴
704 塞浦路斯 1255 冰岛 3058 埃塞俄比亚
706 捷克 1289 阿尔巴尼亚 3144 波黑
707 瑞士 1353 乌兹别克斯坦 3216 多米尼加
708 伊拉克 1407 圣马力诺 3379 韩国
714 荷兰 1416 科威特 3701 马来西亚
717 罗马尼亚 1417 黑山 3839 加拿大
721 黎巴嫩 1493 塔吉克斯坦 4450 澳大利亚
725 匈牙利 1501 巴林 4460 中国大陆
726 格鲁吉亚 1543 智利 -15 亚洲其他
731 阿塞拜疆 1559 南非 -14 南美洲其他
734 奥地利 1567 埃及 -13 北美洲其他
736 巴勒斯坦 1590 肯尼亚 -12 欧洲其他
737 土耳其 1592 尼日利亚 -11 非洲其他
759 立陶宛 1598 坦桑尼亚 -10 大洋洲其他
763 阿曼 1611 马达加斯加 -2 境外其他

境外运营商映射

运营商 ID 运营商
-1 境外运营商

注意事项

通过访问日志第五个字段中记录的字节数,统计计算而来的流量 / 带宽数据与 CDN 计费流量 / 带宽数据不一致。原因如下:

  • 访问日志中仅可记录应用层数据,在实际网络传输中,产生的网络流量要比纯应用层流量多5% - 15%。由两部分组成:
    • TCP/IP 包头消耗,基于 TCP/IP 协议的 HTTP 请求,每一个包的大小最大是1500个字节,包含了 TCP 和 IP 协议的40个字节的包头,包头部分会产生流量,但是无法被应用层统计到,这部分的开销大致为3%左右;
    • TCP 重传,正常网络传输过程中,发送的网络包会有3% - 10%左右会被互联网丢掉,丢掉后服务器会对丢弃的部分进行重传,此部分流量应用层也无法统计,占比约为3% - 7%。
  • 在业内标准中,计费用流量一般在应用层流量的基础上加上上述开销,腾讯云 CDN 取10%,因此监控流量约为日志计算流量的110%。

使用案例

境内访问日志示例

境外访问日志示例

目录