日志和数据分析原创

同事王飞很高兴今天为大家简单介绍一下A万的一些配置啊，今天分享的内容是数据分析与日志服务制啊，那么一级办的话，它提供了这种啊，实时日日志服务啊，提供了这种日志的实时日志的一些采集推送啊，将我们的日志服务可以推送到呃，像腾讯的自建的CLS或自建的数据中心，从而实现对我们的一些日志的这种灵活的检索与分析，满足我们。客户的一些个性化的这种需求，目前A的话，那么他将站点日志和私人代理日及安全服务日志推送到呃以下呃33个目的地啊，这一块是我用我们的腾讯云的CL日志服务，那么直接借助于C可以对日志做一些检测分析，那么同时的话也支持呃推送到兼容a wa a was signat v4的啊这种啊。此外的话也支持。呃，通过H将。

那么我们举个例子，就是实施推动日志啊，这个主要是我们这个4层代理机制啊，是怎么开启使用，那么它大概分了三个步骤，第一块的话是我们在图中选择这个日资源啊，然后的话就是这个四层代理日志啊，选择这个代理实例，那第二块儿的话就是我们选择我们定义这个推送内容啊，这里边儿的是它一些预设字段，我们可以根据是的业务需求啊做一些这种呃选择，那第三块儿的话就是我们要选择推送的这个目的地啊，这个是比如说它对应的这个地域啊，包括日志的名称啊等等这些。嗯。那么除了提供这种实时在线制之外，那么同时H的话啊，也提供这种离线日认证的啊，这种的话，呃，它这种日志的话是进行了小力度的这种打包啊，默认存储30天，它也提供这种呃下载的这种服务，那么如何是去获取这样的这个离线日志的话，那么其实的话，在这个a one控制台，在日志服务里边找到这个离线日志，那么选择对应的一些这种，比如说时间段，我们选择这个24年的27号到4月1号。

然后去选择，选择完选择对应的这个啊，这个站点加速的这个域名，然后就可以得到对应的这种日志信息，那么这个离线日志的话，那我们可以下载下来，然后的话使用比如说一些类search啊或者是的啊，这种查询日志啊，甚至于说我们可以下载下来啊，这个根据我们的业务需求，做一些这种手工的这些分析啊，这些都是可以的。那么第二部分的话，是我们的这个数据分析的功能，呃，那么a j one的话，它通过这个分析访问日数数据，那么它其实在数据页面提供了多种这种数据指标的维度啊，其实帮助客户去了解啊我们的这种业务数据，那么它主要是用的场景的话，呃，是这以下这种三类一块儿是我们的这种日常的一些精控巡检啊，这个主要是了解我们这个加速域名啊，是从代理实力等各项指标的一些走势分布啊等等，比如说它是否A9块是否存在一些延迟啊故障啊，包括第二块的话一些故障排查，还有我们的业一些业务数据这些洞察啊，做一些用户画像都等啊，它其实主要是这三类的应用场景，那么嗯，数据分析这一块的话，那么它提供了呃，大概以下这几类的这种能力，那第一块的话是我们这个流量分析能力，它主要是分析我们7层的这种，呃，这种访问日制，那么了解用户访问网站或者服务的，比如说来源啊，带宽啊。

延迟等等啊，这个主要是了解我们用户的需求和优化的一个网络，那第二块儿的话是它提供这种缓存的分析，主要是分析缓存的命中率，包括缓存内容等等啊，这更好的优化我们的这种缓存配置。那么第三块的话是我们安全的分析，它主要是通过这种访问日资质，包括一些网络数据进行分析，从而是了了解啊我们这一有关攻击的这些数据，比如说了解包括这些攻击源啊，攻击方式啊等等，这个是更好的帮助我们有效的制定以及安全的策略。那么还有一块儿的话是这个四层代理，这个的话主要是分析我们这个四层的这种访问日志，那么了解啊这个客户通过四层代的实力的啊这种呃，来源呢，包括流量等等啊，其实更好的了解这种四层代实力的一些运行状况等等。

那么流量分析的话，其实我们可以从这个图中可以看到，那么它提供了啊这种比如说我们可以看到，它可以提供按照这个时间段啊，提供了这种访问的一些流量啊，客户的请求的数量啊，包括这个带宽的一些峰值啊，还有啊，还有这些我们这个访问的一些这种，比如说按时间的一些访问趋势啊，一些比如还有啊，还有一些这种访问的一些区域啊，国家呀等等啊，甚至于说还有一些top的缓存分析这一块的话，它其实主要是提供这种七层的一些访问日志啊，它展示一些这种比如说我们可以看到的啊，它的一些Hu呢，这些响应的一些流量啊，包括它的一些相的一些次数啊，还有一些带宽啊，包括它这个按照时间的维度啊，它呈现的一些这种啊，这种流量的一些曲线啊，包括缓存的这些啊，这种分布啊，是比如它命中了，或者是没有命中啊，或或者是不能缓存啊等等这些。

啊，都其实提供了这种不同的这种呃指标。那么站点安全的话，其实是呃，主要是呃，展示我们的这个站点面临的这种安全的风险，呃通过展示一段时间，一段时间内啊，这个命令A阶端安全模块的它的一些请求的这种同情况，包括我可以看到我们的这个啊，它包含了。

这种啊，风险严重的这种紧急的一些程度啊，比如说它里边的像C器攻击啊，速率先知啊，包括我们的一些web防护的一些趋势，可以看到它里边有一些速率限制啊，随机攻击啊，Good的管理啊等等，那么呃，同时的话，它也提供了一些攻击的一些对象分享一些分类啊等等啊，这个的话是主要是展示它整体的安全规则。那么we分析的话，那么它提供了更安全的事件精细化分析，不仅可以查看近期的这种安全事件啊，在多个维度下的一些统计和分析的趋势，同时也支持通过查看啊，一些样本的一些日志啊，进一步了解某一个具体事件的一些内容啊，或者一些信息等等，那么安全分析的话，其实是呃，提供了多维度啊这个制可以制定更高效的为客户提供这种更高效的这种安全的策略。

这一块的话是我们的这个四层代理，那么四层代理的话，其实他主要是通过这种访问日志，提供用户访问四层代理实例的一些数据分析展示，比如说在里边儿的这种流量啊，连接数呀，包括一些带宽啊，运营时长，这个其业是更好的去了解我们这个四层赖视力运行的一些这种情况，嗯，它也同时支持一些这种这种按时间维度的一些筛选等等，下面的话我们看一下这种控制台的啊，这种实操啊，那么我们以这种四层代理日志啊作为这个演示啊，可以看到我们这个呃，如何快速的新建一个啊，这种推送任务，就是把我们的这个呃日志推送到我们的这个CS里边啊。那么取我们起一个名字。啊，我们设置里边它的这个日志类型的话，我们有多种啊站点日志啊，包括我们四层代理日志啊，这一块呢，这里呢，我们选择四代理日志。

然后他会选择我们之前建立好的4层代理实力。对。然后下一步的话，那么就是我们这个字段，就是里边儿预设的字段类型啊，可以我们可以展开看，它里边有这么多的这种字段的类型啊，比如说我们的一些service ID呀，包括一些A级的IP访问A的一些服务器ID啊，还有一些这种它的一些生成一些时间啊，这是通用的，那么他也可以筛选一些客户端的信息，比如说我们的这个客户端的真实IP啊，还有一些它的这些这种客户端配置的转发协议啊，转发接接口等等，这些都可以根据我们的实际情况啊，做一些这种选择。那么下一步的话，那我们就是要选择这个投递的这个目的地啊，在这个试题当中，我们选择这个日志日志服务，然后我们点点下一步。

啊，然后的话就是我们选择这个就是我们提前建好的CS啊这个地域，然后我们选择这个日记的名称，以及我们这个日志的名称啊选完之后，然后我们点推送即可。嗯。啊，可以看到这个是我已经这个建立好的一个啊，这个四层代理的日志，那么下边的话，我们去啊这个日这里边儿实际的去看一下，它里边都是一个是以一个什么样的形式啊，或者展示什么样的内容。嗯。嗯，那在这里边儿的话，它提供了这种原始日志，那么可以左侧的话，它有你可以指定这个显示的一些字段，比如说这个客户端就是IP啊，它的这个区域啊，包括A的它的真实的一些IP地址等等，那当然下边还有很多这种啊这种字段啊，这个可以根据实际的需求选，那么我们在这里边的话，我们选择最近的啊，这种七天啊，我们看一下他的啊日志的一些信息。

啊，你可以看到，那么他就根据我们这个左侧显示这些字段，那么他做了一些这种展示啊。我们可以啊，打开一个看一下信息啊，它其实是一些，它其实是一个他去支持一种以table这种形式，或者是以Jason这种形式啊，这看的我们以杰son的这种形式展示啊，它里边的话就展示了我们的这个，比如说C的IP地址啊，他的这个我们的客户终端的IP地址啊，包括我们的一些这个server ID啊等等这些啊，它去展示这些信息，那么同时的话，呃，如果说我们呃这个满下面这些信息的话，字段或者是满足不了我们的需求，我们需要比如说要看这个某一个它的更多的信息，那么我们也支持用一些这种呃社Q语句啊，去做一些这种这种分析啊。

这个的话其实就是看我这些日里边这个可研的IP。你可以看到这个里边包含克兰IP的啊，大概有这几个。7个啊，他收走了这7条记录。包含这个I的这种日志概。嗯。啊，就是在这个时间段内啊呃，此外的话，你当然你也可以啊，比如说我我查询一下它的这个数量。可以看到它这个是条数大概有12条嘛。

啊对，就是最近的啊，就是最近这个7天大概12条啊，当然当然的话啊，这还这也有更多的，比如说我这个点击某一个字段，那么他也会做一些分析，可以看到。稍等一下，他在加载数据啊，可以看到这个是它加载的这个数据内容。嗯，可以看到我们选这个可兰IP之后，然后它的话就会出现这个数据的一些分析啊，相应的比如说他可兰IP啊，它的一些占比啊等等这些啊。那么这个是我们的这个实时实时日志的部分，那么hone的话，它其实除了这个支持实时之外，那么它也提供了一些离线日志，它满足我们的一些啊，这种定制的啊，定制的一些就是特殊的一些场景需求，那么我们可以按，比如说我们这个按按时间段啊，我选择一个1号到11号的。怎么选择？

然后域名的话，我选择啊，自己这个之前建了一个RA域名，可以看到这里边儿的话，都提供了对应的这种这种访问的一些日志，那么我可以把我可以把其中的一个日志下载下来啊，比如说我就下载第一个。好，我把它下载下来，下载之后，然后我们可以看一下，好我们打开。啊，可以看到它其实是一个这个呃建神字符串的形式，那么这个这个呃建字符传的话，这个其实是这种形式的话，就直接看是这个不太不太好分析的，那我们可以呃借助些借助一些这种工具啊做一些展示，比如说我们做一些这种线上的这种杰森啊做一些分析，我们把它做一些这种格式化。那么可以看到，那么这个是格式化后的啊，这个这个情况，它里边的一些字段，比如说啊，它的这个访问的这个。一个域名啊，它的这个访问的一些方法啊，还有啊，它里边的比如说它的一些传输的一些字节呀啊，然后的这个呃，访问的客户端的IP啊等等，还有他的一些这种呃，访问的一些详细信息啊，这个是我们的这个h one server的一些IP地址等等啊，它其实里边提供了这些呃，完整的这这些信息。

那么这个也是借助于我们这个一个杰森的一个工具，那么呃，其实这个除了我们借助于这个工具之外，那么我们啊，当然也可以说啊，比如说我我我可以用一些这个呃，Linux里边的，比如说我们用AK啊，或者是一些啊啊等等这些做一些这种啊手动的一些筛选啊，那么前面前提的话，我们先把啊先把这个日志导进去，我们新建一个文档。

保存。呢啊，这个是它里边的一些知识信息，那比如说我们现在啊，可以看到它里边，比如说我们想拿到这个字段啊，他访问的这个后S的域名是什么样的，比如说他我们想拿到这个字段。啊，可以看到我们通过这样的一个命令，那么我先去查询啊这个日，然后通过这个逗号做分割，那么就是。查到带host这个信息，把它打印出来，打印这个，那么就得到了这个访问的这个host域名是点啊，除此之外的，那么其实我们也可以用一些，呃，除了这个我们也可以用一些这些命令来实现，嗯。我看一下。

啊，我们也拿到了这个request啊。嗯。呃，这个是我们这个手段的这个分析，当然这个分析的这个手段还是比较多的啊，我们这个只是做一个，呃，简单的举例。然后我们再然后我们再看一下这个是我们的这个日志服务，那我们再看一下我们的。我们的这个数据分析啊，这块的话是我们的这个流量的分析，那么我们可以选择这个，比如说我们今日的啊，这个时间段的。然后可以看到它这里边的话，它这个总的一些流量，HJ的，这就是经于HJ万向客户端传入的总的数据，以及HJ接收客户端一些请的数据，呃，总的请求数量，还有AJ收入数据啊，包括这个接收客户的一些请求啊。

啊，这个是它的一些这种请求，按照时间维度的一些请求的啊，这种数数据量啊，请求的这个数据量啊，同时的话，他也提供一些这种状态码啊，这个200的话就是表示我这个请求是正常的。对白的这个，它也可以按照这个啊，这种访问区域的维度做一些换，比如说这个。可以看到在图中的话，这个中国大陆境内的访问大概占了百分之这个73，还有当然除此之外还有美国，新加坡，韩国啊，除此之外的话，那么它也提供了这个。啊，Top five top top20的啊，这种我们的这个访问访问的这个流量啊，这个网站访问类的这种流量啊，同时的话，我们也提供了一个，比如说客户端，按照客户端的IP，那么它这个访问流量做一些这种划分啊等等啊，包括客户端一些设备类型啊，包括资源类型等等啊，此外的话，那么其实它里边也支持一些筛选，比如说我们按照。

我们按照这个host啊，比如说等于这个啊，我看访问这个我点确定。啊，那么可以看到它这个数据的话，就重新做了一些这种过滤啊，当然里边它还有很多选项啊，这个是流量分析，那么缓存分析的话，这里边儿的话，其实也我们也可以按到啊这个时间的一些维度啊，做一些这种划分，可以看到我们在这个原站的响应啊，它的这个流量啊，包括他直接响应的这个流量啊，远端响应的一些这种。客能群的均有远站响应的一些这种流量啊，包括这个响的一些次数啊，远站响应的次数啊，有有多少次是ane之前响应的，还有一些只需要这个原站响应的啊，包括这个带宽还是按照H直接响应和这个原站响应的啊，这个带宽。

啊，还有这个缓存丰富的这个情况，那里边儿的话，像这个的话就是不缓存，那么它的请求流量是37.46%啊。那么除此之外的话，它也可以按照这个TOP5TOP20的啊，这个比如说房源的访问的这个host，它的这个流量啊，包括一些状态码啊等等啊，那么他也支持，呃，此外的话，那么他也。也支持一些筛选，比如说我们按照这个这个缓存的这个状态，比如说它等于这个。啊，这个不缓存和这个。没有命中的。可以看到它这个这个维度的统计，这里边儿的话，它主要是这个，呃，不缓存的啊，这个是缓存分析这一块，那么我们再看一下这个安全分析。嗯。最近7日的好，可以按照时间的，那么最近7日，我们可以看到这个最近期间呢，它是遭受的一些这种。

啊，我不尔房屋啊，这个他触发了一些托管规则啊。嗯。这个是他这个付款规则类型啊，那么它就是触发了这种输管规则，说明遭受的一些这种这种攻击啊，这个也是他详细的信息啊，这个有规则ID，其实我们可以点开，点开其中某一个。看这个托管规则。啊，可以看到它里边有详细的信息啊，请求了一些头部啊，请求ID啊，啊包括客户端IP等等这些里边是一些详细的啊一些信息。

啊，这个真点安全，那么web安全的话，这个的话是更细力度的，可以看到我们里边的，比如说它的你最近的一些攻击的情况啊等等这些啊，它可能更细力度的啊，这个这个统计的统计这个指标，比如说我们按请求数啊，或者平均的，比如说王曼请求数啊，这个他其实做了一个汇聚啊，按照这个最近7最近7日的啊，它的这个像请求数啊，按照这个这个力度，那么除此之外的话，它其实也支持很多这种请求维度，比如说像请求里边儿它有客户端IP。啊，比如他按照客户端IP啊，他做一些这种汇聚啊，比如说这个客客户端IP，它的这个请求数，包括他的一些所在区域等等啊客户端，客户端的一些地区啊，包括一些请求的URL啊，啊还有一些比如说域名的host啊等等这些，他其实有很多这种维度的这种数据统计，那除此之外的话，呃，那么它本身的话，呃，它也可以这里边儿的话，也可以根据一些设选条件，比如说我按这个客端IP啊。

啊，去去做一筛选等等啊这些的话，它其实提供了更细力度的，那么我们可以根据实际的一些需要，那么去做一些这种分析，那么这个是安全分析，那我们再看一下这个四层代理这一块儿，那么看一下最近这个七日的啊，这个情况，可以看到他的通过四层代理啊，他的这个啊，这个总的流量，包括这个带宽峰值，包括并发连接数等等，还有这个出入了这种流量，它这种分布的趋势是怎么样的，那么同时的话，那么它也支持那么一些。必要的一些剩余条件，比如说我们看这个转发规则啊，这里这里边儿的话，我们比如说我们看10055的对吧，然后我们可以搜一下啊，这个是全部的，我们搜索一下啊，点确定。

啊，这个这个是没有，这个这个应该是没有没有访问，所以说这个看不到啊，然后我们换一个啊，换一个服务名称的，我们选这个，你可以看到这里边儿的话，就是按照这一个就是30日内就是亚洲地域的啊，他这个访问的通过自代里访问的一些流量啊，出入流量的一些一些趋势可以看，在这边他做了一个这种展示。OK, 这个就是我今天这个分享的这个数据分析和日志服务这一块啊，非常感谢。