专栏首页日志服务CLS【日志服务CLS】配置使用 Nginx 访问日志中的原始时间戳
原创

【日志服务CLS】配置使用 Nginx 访问日志中的原始时间戳

0x01.前言

针对于上一篇文章【日志服务CLS】Nginx 访问日志接入腾讯云日志服务中结尾提到的问题,晚上又去控制台仔细看了一篇,发现其实是有设置项的,只不过默认是关闭的状态


0x02.解决问题

才发现控制台在采集配置处可以配置时间戳的来源,默认是以上报时间为准

使用采集时间

毕竟Nginx本身就有时间戳,首先查看实际存储的例子

time_local

然后关闭开关进行自定义配置,配置时间格式参照:配置时间格式

时间提取格式

直接把示例中的例子抄过来就能用了,如果不一样的话则需要对应修改

不正确

然后发现并没有生效,即使重启loglistenerd进程也无果,困扰了一天之后终于发现了问题所在

去下载最新版本nginx-1.20.0查看其配置文件中时间戳为变量$time_local

nginx.conf

然后去gh看看源码是怎么写的:https://github.com/nginx/nginx/blob/a64190933e06758d50eea926e6a55974645096fd/src/http/modules/ngx_http_log_module.c#L235

time_local

实际存储的例子中24/May/2021:21:19:21 +0800,年份和时间之间有一个冒号

因此时间格式解析应该是:%d/%b/%Y:%H:%M:%S

正确

0x03.验证

1,使用采集时间

操作:手动停止loglistenerd进程,等待nginx记录一段时间的日志之后再启动

可以发现图表中的时间是启动之后的的采集时间,全堆到一起了,而nginx所接收到的实际请求并不是这样

产生堆积

时间戳显然是不同的

使用采集时间

2,使用时间键

操作:控制台配置使用时间键解析,此时日志的时间和nginx记录的时间完全一致

使用时间键

0x04.后记

本来是打算在上篇文章中进行追加修改,后来想到这个问题比较常见,于是就单独拎出来这篇文章了


原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【日志服务CLS】Nginx 访问日志接入腾讯云日志服务

    日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志服务平台,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项...

    远哥制造
  • 腾讯云日志服务CLS征文活动名单公布!🔥

    腾讯云日志服务CLS举办的日志服务CLS体验征文活动发起后,吸引了许多云+社区作者和行业专业人士的关注与参与,发表了众多产品业务使用场景实践案例、日志服务产品初...

    日志服务CLS小助手
  • 基于腾讯云CLS统计分析nginx的access.log

    很多个人站长在搭建网站时使用nginx作为服务器,为了了解网站的访问情况,一般有两种手段:

    Vicwan
  • 腾讯云CLS产品应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • 腾讯云CLS日志服务应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • 【日志服务CLS】腾讯云CLS日志服务初体验

    作为一个服务器小白来说,以入门的视角,简单的方式来看腾讯云的CLS日志服务。本文就来分享一下关于使用CLS日志服务的初体验。

    三掌柜
  • 业务上云使用腾讯云日志服务方案

    日志服务(Cloud Log Service,下文简称CLS服务)是腾讯云提供的一站式日志数据解决方案,可以快速便捷的接入,享受日志采集、日志存储到日志内容搜索...

    覃春善
  • 【日志服务CLS】初识腾讯 CLS 高速检索与 Nginx 预报警服务~

    和尚虽然是移动端开发,但对于 Nginx 负载均衡稍稍有些了解,而曾经的毕业论文就是以 Nginx 为研究方向进行的,今天根据 腾讯云+社区 活动,简单尝试一下...

    阿策小和尚
  • 通过DaemonSet-CRD方式采集TKE日志

    在TKE中LogListener是以DaemonSet模式运行,可通过CRD方式创建采集配置采集TKE集群日志。本文介绍如何通过CRD方式创建采集配置。

    tinkerli
  • 腾讯云容器服务日志采集最佳实践

    roc,腾讯高级工程师,Kubernetes Contributor,热爱开源,专注云原生领域。目前主要负责腾讯云TKE 的售中、售后的技术支持,根据客户需求...

    腾讯云原生
  • TKE容器服务结合日志服务进行使用详解

    日志采集功能是容器服务为用户提供的集群内日志采集工具,可以将集群内服务或集群节点特定路径文件的日志发送至 Kafka、Elasticsearch 或者 腾讯云日...

    pengsiryan
  • TKE集群日志解决方案之日志采集

    当前技术领域容器盛行,已然是一个云原生的时代, 在技术领域都或多或少跟云计算、容器、Kubernetes、云原生应用有着不同的渊源。云原生的技术变更带来了革命性...

    朱瑞卿
  • 【腾讯云日志服务CLS】Linux服务器使用腾讯云CLS日志服务初体验

    hello,腾讯云的小伙伴们,我是不想赖床,一位拥有2年腾讯云服务使用体验的计算机大学生。我们在使用腾讯云服务器时,在各种业务开发部署过程中会产生各种日志,如果...

    乌龟哥哥
  • 【日志服务CLS】Python开发API接入CLS(附源码、详细步骤)

    日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志服务平台,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项...

    叫我阿柒啊
  • 如何使用 K8s 两大利器"审计"和"事件"帮你摆脱运维困境?

    张鹏,腾讯云容器产品工程师,拥有多年云原生项目开发落地经验。目前主要负责腾讯云容器服务 TKE 集群和运维中心开发工作。 概述 下面几个问题,相信广大 K8s...

    腾讯云原生
  • 【日志服务CLS】腾讯云日志服务CLS尝鲜

    腾讯云产品有很多的分类,一般有一级大类和二级分类,其中,日志服务CLS是作为大类“存储”中的“数据处理与分析”类别下。如果我们想体验CLS服务,可以从下图的这个...

    liuzhen007
  • 2020年11月产品动态速览

    腾讯云容器服务(Tencent Kubernetes Engine,TKE)是高度可扩展的高性能容器管理服务,您可以在托管的云服务器实例集群上轻松运行应用程序。...

    日志服务CLS小助手
  • 功能上新:CLS支持完全正则模式采集多行日志

    多行-完全正则模式适用于日志文本中一条完整的日志数据跨占多行(例如 Java 程序日志),可按正则表达式提取为多个 key-value 键值的日志解析模式。若不...

    日志服务CLS小助手
  • 1月容器技术产品月报 | 留言有奖

    ? 2021年1月 ? ? VOL:09 ? ? ? ? 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ ? 云说新品 ? 容器产品新特性 12月上新 ...

    腾讯云原生

扫码关注云+社区

领取腾讯云代金券