有奖征文:轻量对象存储LighthouseCOS用户实践> HOT

功能介绍

为了方便客户对用户访问进行分析,EdgeOne 对访问日志进行了小时粒度打包,默认存储 30 天,并且提供下载服务。

操作指引

例如:您需要下载站点域名 www.example.com 在 2023-08-07 至 2023-08-10 的所有站点加速日志进行数据分析,您可以参考以下步骤操作:
1. 登录 边缘安全加速平台 EO 控制台,在左侧菜单栏中,单击站点列表,在站点列表内单击需配置的站点。
2. 在站点详情页面,单击日志服务 > 离线日志。
3. 在离线日志页面,筛选时间范围,选择日期为 2023-08-07 至 2023-08-10,右侧日志类型选择为站点加速日志下 www.example.com 域名的日志。筛选完成后,页面将自动查询筛选后的日志信息。

4. 在查询到的日志列表内,您可以按需通过以下三种方法来进行下载:
通过单击操作下载,即可下载对应域名/四层代理实例、对应时间段的日志包。
通过单击获取下载链接,即可复制相应的日志包下载链接。
通过勾选需要的日志包,并单击批量获取下载链接,可以批量复制所需的所有日志包下载链接。
注意
访问日志默认按小时打包,若某个小时里域名无任何请求,则不会产生该时间区间的日志包。
日志包通过 gzip 压缩为 .gz 格式。由于 MacOS 系统的目录系统缺陷,在 MacOS 系统下双击解压可能会报错,如出现这种情况,您可以进入日志所在的目录下,通过如下 Terminal 命令进行解压。
gunzip {your_file_name}.log
由于 EdgeOne 节点分布在各地,为同步所有时区,离线日志的存储时间(日志包文件名称的时间)默认为:UTC +00:00。
离线日志从各 EdgeOne 节点收集而来,因此延迟上各有差异,一般情况下延迟 3 小时左右后可查询、下载日志包,日志包会不断追加,一般24小时左右趋于稳定。

字段说明

日志默认按照 JSON 格式存储,具体的日志字段解释如下。 当某字段无值时:
字段的数据类型为 String 且字段没有数据,字段取值为:“-”。
字段的数据类型为 Int 且字段没有数据,字段取值为:-1。
说明:
通过站点加速访问日志EdgeResponseBytes字段中记录的字节数统计计算而来的流量、带宽数据与 EdgeOne 计费流量或带宽数据可能不一致。原因如下:
访问日志中仅可记录应用层数据,在实际网络传输中,产生的网络流量要比纯应用层流量多 5% - 15%。由两部分组成:
TCP/IP 包头消耗,基于 TCP/IP 协议的 HTTP 请求,每一个包的大小最大是1500个字节,包含了 TCP 和 IP 协议的40-60个字节的包头,包头部分会产生流量,但是无法被应用层统计到,这部分的开销大致为3-4%左右。
TCP 重传,正常网络传输过程中,发送的网络包会有3% - 10%左右会被互联网丢掉,丢掉后服务器会对丢弃的部分进行重传,此部分流量应用层也无法统计,占比约为3% - 7%。
开启智能加速后,腾讯云 EdgeOne 会对客户端请求 EdgeOne 节点所产生的流量/带宽计费。详情请参见 计费概述

站点加速日志

名称
数据类型
说明
RequestID
String
客户端请求的唯一标识 ID
ClientIP
String
客户端 IP
ClientRegion
String
客户端 IP 解析出来的国家/地域。格式标准:ISO 3166-1 alpha-2
ClientState
String
客户端 IP 解析出国家下一级的行政划分。目前仅支持中国大陆境内数据。格式标准:ISO 3166-2
ClientISP
String
客户端 IP 解析出的运营商信息。
中国大陆境内数据,记录为 ISP 中文名称;
全球可用区(不含中国大陆)数据,记录为 自治系统编号(ASN)
RequestTime
客户端请求时间,时区:UTC +00:00
RequestStatus
Integer
客户端请求的状态,若使用 Websocket 协议的请求,EdgeOne 会周期打印日志,可以使用此字段确定连接状态,取值有:
0:未结束
1:请求正常结束
2:异常结束
RequestHost
String
客户端请求的 Host
RequestBytes
Integer
客户端请求的大小,单位:Byte
RequestMethod
String
客户端请求的 HTTP Method,取值有:
GET
POST
HEAD
PUT
DELETE
CONNECT
OPTIONS
TRACE
PATCH
RequestUrl
String
客户端请求的 URL path
RequestUrlQueryString
String
客户端请求的 URL 携带的查询参数
RequestUA
String
客户端请求的 User-Agent 信息
RequestRange
String
客户端请求的 Range 参数信息
RequestReferer
String
客户端请求的 Referer 信息
RequestProtocol
String
客户端请求的应用层协议,取值有:
HTTP/1.0
HTTP/1.1
HTTP/2.0
HTTP/3
WebSocket
RemotePort
Integer
TCP 协议下客户端与节点建立连接的端口
EdgeCacheStatus
String
客户端请求是否命中节点缓存,取值有:
hit:资源由节点缓存提供
miss:资源可缓存,但由源站提供
dynamic:资源不可缓存
other:无法被识别的缓存状态
EdgeResponseStatusCode
Integer
节点响应返回给客户端的状态码
EdgeResponseBytes
Integer
节点返回给客户端的完整响应大小,单位:Byte
EdgeResponseBodyBytes
Integer
节点返回给客户端的响应 body 大小,单位:Byte
EdgeResponseTime
Integer
从 EdgeOne 接收到客户端发起的请求开始,到客户端接收到服务器端的响应结束,这个过程所耗费的时间;单位:ms
EdgeInternalTime
Integer
从 EdgeOne 接收到客户端发起的请求开始,到响应给客户端的第一个字节,整个过程的耗时;单位:ms
EdgeServerIP
String
DNS 解析 Host 得到的 EdgeOne 服务器 IP 地址
EdgeServerID
String
客户端访问到的 EdgeOne 服务器唯一标识

四层代理日志

名称
数据类型
说明
ServiceID
String
四层代理服务唯一标识 ID
ConnectTimeStamp
建连时间;默认为 UTC +00:00 时区
DisconnetTimeStamp
断连时间;默认为 UTC +00:00 时区
DisconnetReason
String
断连原因;
格式为 「方向:原因」
方向取值有:
up:源站方向
down:客户端方向
原因取值有:
net_exception_peer_error:读写对端返回错误
net_exception_peer_close:对端已关闭连接
create_peer_channel_exception:创建到下一跳的 channel 失败
channel_eof_exception:channel 已结束(请求结束时,结束请求的节点会给相邻节点发送 channel_eof 告知相邻节点请求已结束)
net_exception_closed:连接已关闭
net_exception_timeout:读写超时
ClientRealIP
String
客户端真实 IP
ClientRegion
String
客户端所在国家/地域 2 位字母编码,符合 ISO-3166 alpha-2 规范
EdgeIP
String
访问的 EdgeOne 服务器 IP 地址
ForwardProtocol
String
客户配置的转发协议 TCP/UDP
ForwardPort
Integer
客户配置的转发端口
SentBytes
Integer
上一条日志记录时间至本条日志记录期间产生的入流量,单位:Byte
ReceivedBytes
Integer
上一条日志记录时间至本条日志记录期间产生的出流量,单位:Byte
LogTimeStamp
日志生成时间;默认为 UTC +00:00 时区