日志在排查文件的时候至关重要，因为Linux系统在运行的程序通常会把一些系统消息和错误消息写入对应的系统日志中。若是一旦出现问题，用户就可以通过查看日志来迅速定位，及时解决故障，所以学会查看日志文件也是在日常维护中很重要的操作。
说起查看日志排查 bug 的方式，早些年的时候我都是直接登陆 linux 服务器直接查看，或者下载下来查看。
最近在构建日志系统，对比了ELK还有LPG，发现LPG更加适合我们系统。奈何网上可靠的文章真是太少了，大多都是抄来抄去，整个过程躺过无数坑，特记录一下，回馈给读者。文章的所有配置文件都可以直接使用，并且配置做了优化，不会出现莫名其妙的问题。
Linux没有图形化界面，我们只能通过控制台去操作系统，我们就要使用类似DOS命令的Linux命令去操作系统
一、简 介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：
MySQL用了很久，但是一直也是工作的使用，对于MySQL的知识点都比较零散碎片，一直也没有整体梳理过，趁着最近不忙，梳理一下相关的知识点。
很多小伙伴工作很长时间了，对于MySQL的掌握程度却仅仅停留在表面的CRUD，对于MySQL深层次的原理和技术知识了解的少之又少，随着工作年限的不断增长，职场竞争力却是不断降低的。很多时候，出去面试时，被面试官吊打的现象成了家常便饭。
上述我们介绍了Linux系统软件安装的四种形式，接下来我们就通过第一种(二进制发布包)形式来安装JDK。 JDK对应的二进制发布包，在课程资料中已经提供，如下：
MySQL提供了多种日志功能，用于记录数据库运行时的各种信息，如错误日志、一般查询日志和慢查询日志等。这些日志可以帮助数据库管理员监控数据库的运行状态、诊断问题和优化性能。下面将详细说明这三种日志的查看方法，并提供具体的示例。
依据客户端查询来设计集合的片键及索引，最近几天突然需要查询历史数据进行分析，我们的有些集合count达到亿条以上，每个文档几百个字段。突如其来的查询分析，数据库非常的卡，尤其这几天刚刚加入一个新的分片。前天上午来看，发现主分片竟然奔溃了，至于为什么查询量大，数据库会奔溃，需要后续进行分析。
Linux系统拥有非常灵活和强大的日志功能，可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。 大部分Linux发行版默认的日志守护进程为 syslog，位于 /etc/syslog 或 /etc/syslogd 或/etc/rsyslog.d，默认配置文件为 /etc/syslog.conf 或 rsyslog.conf，任何希望生成日志的程序都可以向 syslog 发送信息。
之前写过一篇 《 在公司做的项目和自己在学校做的有什么区别？ 》不知道大家还有印象没有，里面提到了在工作中可能需要等上Linux服务器，查看一些信息（特别是查日志找Bug)。
作为一名后端程序员，和Linux打交道的地方很多，不会看Linux日志，非常容易受到来自同事和面试官的嘲讽，所以掌握一种或者几种查看日志的方法非常重要。
Linux查看日志的命令有多种: tail、cat、tac、head、echo等，本文只介绍几种常用的方法。
1、命令格式: tail [必要参数] [选择参数] [文件]
但是，在学校学完，没咋练手（还是太菜了），去到公司可以说是全忘光了。这篇文章主要来回顾以前的笔记，以及记录一下在工作中比较常用的一些命令。
【注】并不是所有 Linux 发行版都自带 lsb_release 命令，如果系统上没有该命令需要手动安装 lsb-release 工具。
在项目开发和维护的过程中，我们经常需要在 Linux 服务器上查询和分析日志文件。为了高效地处理大量的文本数据，我们可以借助一些强大的文本过滤工具，如 tail -f、more、zmore 、less、zless和 grep。本文将换种方式介绍这些常用的 Linux 命令，帮助您在日志分析中更加得心应手。
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
Linux 有一个显著的特点，在正常情况下，你可以通过日志分析系统日志来了解你的系统中发生了什么，或正在发生什么。的确，系统日志是系统管理员在解决系统和应用问题时最需要的第一手资源。我们将在这篇文章中着重讲解 Apache HTTP web server 生成的 Apache access 日志。
日志是开发者用来分析程序和排查问题的重要工具。随着系统架构从早期的单体应用，演变到如今的微服务架构，日志的重要性也逐步提升。除了用日志辅助问题排查，还可以通过日志对微服务请求的全链路进行性能分析，甚至可以它用来解决分布式系统中的一致性问题。与此同时，系统产生的日志量和日志管理难度也显著增加。于是，日志管理工具随之诞生并迭代升级。从最开始登录到跳板机上查看日志，到自建分布式日志中心来统一管理日志流，到云平台厂商提供专门的日志管理服务。开发者只需要在应用中接入SDK将日志回流到日志平台，就可以使用日志平台提供智能检索、数据分析以及链路分析等能力，平台中易用的图形化界面和成熟的数据管理能力极大的提升了开发效率。
通常来看，Redis开发和运维人员更加关注的是Redis本身的一些配置优化，例如AOF和RDB的配置优化、数据结构的配置优化等，但是对于操作系统是否需要针对Redis做一些配置优化不甚了解或者不太关心，然而事实证明一个良好的系统操作配置能够为Redis服务良好运行保驾护航。
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
TIDB 是一个分布式数据库，那么与单机相比，他的文件的分布式使用与单机架构的数据库是有不同的。
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展高性能数据存储解决方案。
通过rpm -qa 查询到系统通过rpm安装的所有软件，太多了，不方便查看，所以我们可以通过管道符 | 配合着grep进行过滤查询。
注意：>意思是创建，>>是追加。千万不要弄混了。 cat其他参数与tail 类似
show variables like ‘%slow_query_log%’; #如果结果中包含slow_query_log | OFF ，则说明慢日志已经关闭 #开启慢查询日志的方式：set global slow_query_log=1;
攻击溯源图是描述攻击者攻击行为相关的上下文信息，利用攻击溯源信息来挖掘攻击相关的线索是当前研究的热点。研究人员发现依靠系统监控日志数据构造具有较强抽象表达能力的溯源图进行因果关系分析，能有效表达威胁事件的起因、攻击路径和攻击影响，为威胁发现和取证分析提供较高的检测效率和稳健性。
当Linux主机发生安全事件需要进行入侵排查时，一般可以使用常见的shell命令，通过分析主机的异常现象、进程端口、启动方式、可疑文件和日志记录等信息以确认主机是否被入侵。
虽然他搞java开发好几年了，也一直使用的是MySQL数据库，但是面对这个问题依然是一脸懵逼，还以为面试官要问索引、慢查询、性能优化之类的（因为这些都是网上找点面试题背过了）。
一个业务系统的服务器监控系统发来预警通知，磁盘空间使用率已经达到90%了，然后就登陆服务器搜索了下比较大的日志文件，全部都删除了（坑在此处埋上了），磁盘空间释放了一些，当时也是疏忽，没有确认查出并删除的文件大小的空间是否已经全部释放。没过几天，服务器又被预警了，比较纳闷，日志怎么增长的这么快，排查之后发现，原来是上次操作删除文件后，有个较大的文件空间没有释放导致的。
继昨天服务器上应用 CPU占用过高 后面该应用宕掉了以后 java 一次CPU占用过高问题的排查及解决
安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。
作者：datonli，腾讯 WXG 后台开发工程师 背景 开发在定位问题时需要查找日志，但企业微信业务模块日志存储在本机磁盘，这会造成以下问题： 日志查找效率低下：一次用户请求涉及近十个模块，几十台机器，查找日志需要登录机器 grep 日志文件。这一过程通常需要耗费 10 分钟以上，非常低效； 日志保存时间短：单机磁盘存储容量有限，为保存最新日志，清理脚本周期清理旧日志文件腾出磁盘空间，比如：现网一核心存储 7 天日志占用了 90%的磁盘空间，7 天前日志都会被清理，用户投诉因日志被清理而得不到解决；
首先，需要从 MySQL 官方网站或其他可靠来源下载 MySQL 5.7 的安装包。确保选择与你的 CentOS 系统架构（如 x86_64）对应的版本。
早期在系统规模较小的时候，系统的运维主要靠运维人员手工完成。随着业务的急剧膨胀、微服务化，运维面临巨大的挑战，日志数据管理也面临各种问题：
1、 小红书开源一款播放器。REDPlayer是一款由小红书自主研发的跨平台(支持Android、iOS、HarmonyOS等平台)播放器。不同于行业其他播放器，REDPlayer 具有结构简单、耦合度低、功能边界清晰等特点，提供了多种接入方式，技术人员可根据需要灵活选择，既可快速集成SDK使用，也可基于源码进行定制开发。 --gitee
关注"一猿小讲"的猿友们都知道，前段时间我在《一文讲懂线上应用系统监控》给大家简单提到了日志归集，埋下了伏笔，今天的这篇分享是来给大家还债的，主要从整体到局部，深入了解一下日志归集。如果你正在困惑于每天登录服务器查询业务日志的繁琐，或正在寻找一个业务日志归集的方案，那么就请跟紧我的脚步，莫掉队。
收到很多小伙伴的反响，hw面试题很多但是带答案的面试题比较少，在这里红队蓝军整理了一份带部分答案的hw面试题分享给大家。
前言：本文中所引用的文档均为Redhat 技术专家杨金锋所提供。此方案，大卫也多次请教红帽技术专家陈镇。 密码管理系统的必要性 在大多数客户数据中心内部，密码管理都是一个很令人头疼的问题。为什么呢？ 第一，数据中心中设备：Linux、AIX、Windows、数据库等的密码复杂度要符合要求，避免轻易被破解。 第二，数据中心设备的密码，需要定期修改，以保证安全性。 针对这种情况，我们当然可以定期手工修改数据中心设备的密码，但这带来三个问题： 手工修改工作量太大。想象一下，给几百个系统修改root密码的感觉？
1）MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。 2）MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 3）MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。 4）2007年10月，MongoDB由10gen团队所发展。2009年2月首度推出。 5）MonggoDB支持Unix、linux、windows等系统平台。 6）在许多场景下用于代替传统的关系型数据库或键/值存储方式，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。是一个面向集合的，模式自由的文档型数据库。
使用FinalShell自带的上传工具将Tomcat的二进制发布包上传到Linux(与前面上传JDK安装包步骤
在 CentOS 6.x 中，日志服务已经由 rsyslogd 取代了原先的 syslogd。Red Hat 公司认为 syslogd 已经不能满足工作中的需求，rsyslogd 相比 syslogd 具有一些新的特点：
在上一章我们了解到，物理文件层在MySQL架构位于最底层，将数据库的数据存储在文件系统上，并完成与存储引擎的交互。存储数据包括日志文件，数据文件，配置文件等。本章将介绍linux环境下MySQL的各类文件。
在对公司容器云的日志方案进行设计的时候，发现主流的 ELK (Elasticsearch, Logstash, Kibana) 或者 EFK (Elasticsearch, Filebeat or Fluentd, Kibana) 比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握的;
文章来源：https://c1n.cn/0wHvF 前言 在对公司容器云的日志方案进行设计的时候，发现主流的 ELK（Elasticsearch，Logstash，Kibana）或者 EFK（Elasticsearch，Filebeat or Fluentd，Kibana）比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。 下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
