说起查看日志排查 bug 的方式，早些年的时候我都是直接登陆 linux 服务器直接查看，或者下载下来查看。
日志在排查文件的时候至关重要，因为Linux系统在运行的程序通常会把一些系统消息和错误消息写入对应的系统日志中。若是一旦出现问题，用户就可以通过查看日志来迅速定位，及时解决故障，所以学会查看日志文件也是在日常维护中很重要的操作。
最近在构建日志系统，对比了ELK还有LPG，发现LPG更加适合我们系统。奈何网上可靠的文章真是太少了，大多都是抄来抄去，整个过程躺过无数坑，特记录一下，回馈给读者。文章的所有配置文件都可以直接使用，并且配置做了优化，不会出现莫名其妙的问题。
一、简 介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：
centos是一个基于Red Hat Linux提供的可自由使用源代码的企业级Linux发行版本，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。
linux中mysql日志文件在哪里？相信有很多人都不太了解，今天小编为了让大家更加了解linux中mysql日志文件，所以给大家总结了以下内容，一起往下看吧。
作为一名后端程序员，和Linux打交道的地方很多，不会看Linux日志，非常容易受到来自同事和面试官的嘲讽，所以掌握一种或者几种查看日志的方法非常重要。
Linux查看日志的命令有多种: tail、cat、tac、head、echo等，本文只介绍几种常用的方法。
MySQL提供了多种日志功能，用于记录数据库运行时的各种信息，如错误日志、一般查询日志和慢查询日志等。这些日志可以帮助数据库管理员监控数据库的运行状态、诊断问题和优化性能。下面将详细说明这三种日志的查看方法，并提供具体的示例。
Linux没有图形化界面，我们只能通过控制台去操作系统，我们就要使用类似DOS命令的Linux命令去操作系统
依据客户端查询来设计集合的片键及索引，最近几天突然需要查询历史数据进行分析，我们的有些集合count达到亿条以上，每个文档几百个字段。突如其来的查询分析，数据库非常的卡，尤其这几天刚刚加入一个新的分片。前天上午来看，发现主分片竟然奔溃了，至于为什么查询量大，数据库会奔溃，需要后续进行分析。
1、命令格式: tail [必要参数] [选择参数] [文件]
下面罗列的这些基本命令，很有用，对于查询线上线下问题都非常有用的，不妨学习一下哈。
很多小伙伴工作很长时间了，对于MySQL的掌握程度却仅仅停留在表面的CRUD，对于MySQL深层次的原理和技术知识了解的少之又少，随着工作年限的不断增长，职场竞争力却是不断降低的。很多时候，出去面试时，被面试官吊打的现象成了家常便饭。
在运营网站的过程中，可能会遇到网站突然变慢的问题，一般情况下和 MySQL 慢有关系，可以通过开启慢查询，找到影响效率的 SQL ，然后采取相应的措施。下面介绍一下如何开启慢查询：
MySQL用了很久，但是一直也是工作的使用，对于MySQL的知识点都比较零散碎片，一直也没有整体梳理过，趁着最近不忙，梳理一下相关的知识点。
学完数据库基础知识，要想更深入地了解数据库，就需要学习数据库进阶知识，今天我们就先来聊一聊慢SQL查询那些事儿。
上述我们介绍了Linux系统软件安装的四种形式，接下来我们就通过第一种(二进制发布包)形式来安装JDK。 JDK对应的二进制发布包，在课程资料中已经提供，如下：
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
之前写过一篇 《 在公司做的项目和自己在学校做的有什么区别？ 》不知道大家还有印象没有，里面提到了在工作中可能需要等上Linux服务器，查看一些信息（特别是查日志找Bug)。
注意：>意思是创建，>>是追加。千万不要弄混了。 cat其他参数与tail 类似
但是，在学校学完，没咋练手（还是太菜了），去到公司可以说是全忘光了。这篇文章主要来回顾以前的笔记，以及记录一下在工作中比较常用的一些命令。
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展高性能数据存储解决方案。
对这段时间redis性能调优做一个记录。 1、单进程单线程 redis是单进程单线程实现的，如果你没有特殊的配置，redis内部默认是FIFO排队，即你对redis的访问都是要在redis进行排队，先
在项目开发和维护的过程中，我们经常需要在 Linux 服务器上查询和分析日志文件。为了高效地处理大量的文本数据，我们可以借助一些强大的文本过滤工具，如 tail -f、more、zmore 、less、zless和 grep。本文将换种方式介绍这些常用的 Linux 命令，帮助您在日志分析中更加得心应手。
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
在对公司容器云的日志方案进行设计的时候，发现主流的 ELK (Elasticsearch, Logstash, Kibana) 或者 EFK (Elasticsearch, Filebeat or Fluentd, Kibana) 比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握的;
文章来源：https://c1n.cn/0wHvF 前言 在对公司容器云的日志方案进行设计的时候，发现主流的 ELK（Elasticsearch，Logstash，Kibana）或者 EFK（Elasticsearch，Filebeat or Fluentd，Kibana）比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。 下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握
在对公司容器云的日志方案进行设计的时候，发现主流的 ELK (Elasticsearch, Logstash, Kibana) 或者 EFK (Elasticsearch, Filebeat or Fluentd, Kibana) 比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握的;
show variables like ‘%slow_query_log%’; #如果结果中包含slow_query_log | OFF ，则说明慢日志已经关闭 #开启慢查询日志的方式：set global slow_query_log=1;
在MongoDB所在路径创建log和data目录 mkdir log mkdir data
Linux系统拥有非常灵活和强大的日志功能，可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。 大部分Linux发行版默认的日志守护进程为 syslog，位于 /etc/syslog 或 /etc/syslogd 或/etc/rsyslog.d，默认配置文件为 /etc/syslog.conf 或 rsyslog.conf，任何希望生成日志的程序都可以向 syslog 发送信息。
Linux 有一个显著的特点，在正常情况下，你可以通过日志分析系统日志来了解你的系统中发生了什么，或正在发生什么。的确，系统日志是系统管理员在解决系统和应用问题时最需要的第一手资源。我们将在这篇文章中着重讲解 Apache HTTP web server 生成的 Apache access 日志。
char 和 varchar 最⼤的不同就是⼀个是固定⻓度，⼀个是可变⻓度。由于是可变⻓度，因此存储的是实际字符串再加上⼀个记录字符串⻓度的字节。如果分配给 char 或 varchar 列的值超过列的最⼤⻓度，则对值进⾏裁剪。
1）MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。 2）MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 3）MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。 4）2007年10月，MongoDB由10gen团队所发展。2009年2月首度推出。 5）MonggoDB支持Unix、linux、windows等系统平台。 6）在许多场景下用于代替传统的关系型数据库或键/值存储方式，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。是一个面向集合的，模式自由的文档型数据库。
最近网上流传了一份没有答案的Linux运维面试题。51CTO博主豪鹫趁工作之余，利用自己三年的运维经验交出了一份答卷。欢迎大家一起来点评~
在LogQL V1的时代，受限于简单的日志过滤解释器影响，我们往往只能通过简单的聚合函数将日志转化成区间向量加以告警，它的规则大改就像这个样子：
操作系统版本：CentOS Linux release 7.7.1908 (Core)
继昨天服务器上应用 CPU占用过高 后面该应用宕掉了以后 java 一次CPU占用过高问题的排查及解决
日志是开发者用来分析程序和排查问题的重要工具。随着系统架构从早期的单体应用，演变到如今的微服务架构，日志的重要性也逐步提升。除了用日志辅助问题排查，还可以通过日志对微服务请求的全链路进行性能分析，甚至可以它用来解决分布式系统中的一致性问题。与此同时，系统产生的日志量和日志管理难度也显著增加。于是，日志管理工具随之诞生并迭代升级。从最开始登录到跳板机上查看日志，到自建分布式日志中心来统一管理日志流，到云平台厂商提供专门的日志管理服务。开发者只需要在应用中接入SDK将日志回流到日志平台，就可以使用日志平台提供智能检索、数据分析以及链路分析等能力，平台中易用的图形化界面和成熟的数据管理能力极大的提升了开发效率。
【注】并不是所有 Linux 发行版都自带 lsb_release 命令，如果系统上没有该命令需要手动安装 lsb-release 工具。
1、 小红书开源一款播放器。REDPlayer是一款由小红书自主研发的跨平台(支持Android、iOS、HarmonyOS等平台)播放器。不同于行业其他播放器，REDPlayer 具有结构简单、耦合度低、功能边界清晰等特点，提供了多种接入方式，技术人员可根据需要灵活选择，既可快速集成SDK使用，也可基于源码进行定制开发。 --gitee
之前分享过一篇有关Linux的操作命令，内容很全，但是比较基础。然而，实际工作中用到的比那些稍复杂些，本篇分享一些开发工程师必须具备的实战Linux命令。 1.日志查询类 1.1 按关键字不分页查询 grep "applyId” app.log //applyId为要查询的关键字，app.log为日志名 1.2 按关键字从前往后分页查询 cat -n app.log | grep "applyId" | more 以上命令会分页输出，使用空格键翻页，使用回车键显示更多 1.3 按关键字只显示最后M行查询 t
首先，需要从 MySQL 官方网站或其他可靠来源下载 MySQL 5.7 的安装包。确保选择与你的 CentOS 系统架构（如 x86_64）对应的版本。
连接者：不同语言的代码程序和mysql的交互（SQL交互） 1、连接池 管理、缓冲用户的连接，线程处理等需要缓存的需求 2、管理服务和工具组件 系统管理和控制工具，例如备份恢复、Mysql复制、集群等 3、sql接口 接受用户的SQL命令，并且返回用户需要查询的结果 4、查询解析器 SQL命令传递到解析器的时候会被解析器验证和解析(权限、语法结构) 5、查询优化器 SQL语句在查询之前会使用查询优化器对查询进行优化 select id,name from user where age = 40; a、这个select 查询先根据where 语句进行选取，而不是先将表全部查询出来以后再进行age过滤 b、这个select查询先根据id和name进行属性投影，而不是将属性全部取出以后再进行过滤 c、将这两个查询条件联接起来生成最终查询结果 6、缓存 如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据 7、插入式存储引擎 存储引擎说白了就是如何管理操作数据（存储数据、如何更新、查询数据等）的一种方法。因为在关系数据库 中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和操作此表的类型）
通常来看，Redis开发和运维人员更加关注的是Redis本身的一些配置优化，例如AOF和RDB的配置优化、数据结构的配置优化等，但是对于操作系统是否需要针对Redis做一些配置优化不甚了解或者不太关心，然而事实证明一个良好的系统操作配置能够为Redis服务良好运行保驾护航。
通过rpm -qa 查询到系统通过rpm安装的所有软件，太多了，不方便查看，所以我们可以通过管道符 | 配合着grep进行过滤查询。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
