描述：用于对系统日志进行轮转、压缩和删除，也可以将日志发送到指定邮箱,防止linux系统日志文件过大
127.0.0.1 - - [03/Feb/2015:23:14:24 +0800] "GET / HTTP/1.1" 200 2
在以前我们的应用日志一般由log4j输入到不同的文件中，比如info.log warn.log error.log。 然后当我们需要查看日志的时候，就需要登录服务器使用命令tail -fn 500 error.log进行查看。
针对不断扩大的攻击面，需要企业从攻击者的视角出发，从外部探测企业的网络资产，并对Web 站点进行深入扫描，及时发现并处理高危风险，进而能够有效收敛攻击面。
程序执行的时候，可以通过标准输出（stdout, Standard Output）与标准错误输出 （stderr, Standard Error Output）来输送信息，用户就可以了解该程序执行时发生了什么状况；可是对于在后台执行的服务器程序，或者Linux 内核本身来说，就没有办法这样做了。服务与内核启动后，会切断与终端机（Terminal） 或控制台（Console）的联机，如此一来，即使有信息通过标准输出、标准错误输出传送出去，用户也未必能从屏幕上看到信息。
有时为了方便，我们需要自定义apache各虚拟主机的日志，以方便后续的日志分析工作。
在分析服务器运行情况和业务数据时，nginx日志是非常可靠的数据来源，而掌握常用的nginx日志分析命令的应用技巧则有着事半功倍的作用，可以快速进行定位和统计。 1）Nginx日志的标准格式（可参考：http://www.cnblogs.com/kevingrace/p/5893499.html） log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_by
调用fork函数创建子进程后，使父进程立即退出。这样，产生的子进程将变成孤儿进程，并被init进程接管，同时，所产生的新进程将变为在后台运行。
SaltStack是一套C/S架构的运维工具，服务端口默认为4505/4506，两个端口如果对外网开放危害非常大，黑客利用SaltStack的远程命令执行漏洞CVE-2020-11651可以直接绕过Salt-Master的认证机制，调用相关函数向Salt-Minion下发指令执行系统命令，最终导致挖矿。
在上一篇系列文章《【ES私房菜】收集 Linuix 系统日志》我们已经完成了Linux系统日志上报ES这个简单的试运行项目，我们现在对数据收集、处理以及上报等流程也有了一个全局的认知和了解，下面，我们
在上一篇文章讲述了如何在Linux系统中配置BitBucket、GitHub和Coding这三个平台的git账户，这篇文章就分享如何通过shell脚本定时获取自己的CentOS7.1服务器上的备份文件，然后使用git命令同步到这三个平台仓库上。
在早期的项目中，如果想要在生产环境中通过日志定位业务服务的Bug 或者性能问题，则需要运维人员使用命令挨个服务实例去查询日志文件，这样导致的结果就是排查问题的效率非常低。
在日常的测试工作中，经常会遇到和远程的服务器进行交互的情况，例如，小编这次就遇到了需要处理远程k8s上的日志文件的情况。如果每次都需要打开k8s的界面，在命令行里面执行，操作就会变得非常的繁琐，也不太方便，于是就来探索一个比较方便的途径，能够自动化的获取文件到本地，来方便的在本地自动化处理。
系统管理员（sysadmins）负责日常维护生产系统和服务。其中一个关键任务就是保证功能性服务能24小时工作。为了这个，他们得很小心地计划备份方式，灾难管理策略，定时维护，安全审查，等等。和任意其他管理一样，系统管理员也有他们的必备工具。在正确的时间正确的情况下使用合适的工具，可以帮助维护操作系统的健壮，达到最小的服务中断时间和最大的运行时间。 这篇文章会介绍一些系统管理员日常活动中最常用和有效的命令行工具。如果你想推荐其他没在这里列出来的好用的工具，别忘了在评论区里分享一下。 网络工具 ping：通过IC
系统管理员（sysadmins）负责日常维护生产系统和服务。其中一个关键任务就是保证功能性服务能24小时工作。为了这个，他们得很小心地计划备份方式，灾难管理策略，定时维护，安全审查，等等。和任意其他管理一样，系统管理员也有他们的必备工具。在正确的时间正确的情况下使用合适的工具，可以帮助维护操作系统的健壮，达到最小的服务中断时间和最大的运行时间。
本文介绍了利用ICMP协议进行隧道穿透的方法。ICMP协议不需要开放端口，可以将TCP/UDP数据封装到ICMP的Ping数据包中，绕过防火墙限制。常见的ICMP隧道穿透工具有Icmpsh、Icmptunnel、Pingtunnel等。本文以ICMPsh和Pingtunnel为例，介绍了如何利用ICMP协议进行隧道穿透。
Nagos是一款开源电脑系统和网络监视工具，能够有效监控windows,linux，Uninx的主机状态，交换机路由器等网络设置，打印机等.在系统或服务状态异常时发出邮件或短信报警第一时间通知运维人员，在状态恢复后发出正常的邮件或短信报警通知
1. 任何执行时间长于 wait_timeout或interactive_timeout选项值得备份，都会导致会话被关闭，这也会隐含执行UNLOCK TABLES命令。 2. 对于使用FLUSH TABLES WITH READ LOCK的备份策略来讲，一个共同的缺陷是它们需要两个独立的线程来完成备份过程。运行FLUSH TABLES WITH READ LOCK命令， 然后从当前连接退出将自动执行一条UNLOCK TABLES命令。从FLUSH TABLES WITH READ LOCK成功返回后，任何备份选项都必须在一个不同的并发线程中执行，只 有当适用的备份选项完成时，才可以执行UNLOCK TABLES. 3. 在高并发系统中使用FLUSH TABLES WITH READ LOCK命令的风险是有可能会需要较长的时间，因为有其他耗时较长的语句需要执行，最好被监控和终结，对于在 线型应用的影响又是是不可忽略的。 4. 对MySQL备份的常用方案： * 文件系统冷备份
描述:Apache起初由伊利诺伊大学香槟分校的国家超级电脑应用中心（NCSA）开发，此后Apache Httpd被开放源代码团体的成员不断的发展和加强，从上个世纪90年代开始它的市场占有率就超过了50%。
在数据库表丢失或损坏的情况下，备份你的数据库是很重要的。如果发生系统崩溃，你肯定想能够将你的表尽可能丢失最少的数据恢复到崩溃发生时的状态。有时，正是MySQL管理员造成破坏。管理员已经知道表已破坏，用诸如vi或Emacs等编辑器试图直接编辑它们，这对表绝对不是件好事！
为了了解这个 CVE-2021-44228 漏洞的影响，首先需要掌握一些 Java 概念。RMI 全称为 Remote Method Invocation，是 Java 提供的一种基于序列化的远程方法调用机制，可以通过网络通讯的方式，调用远程服务器提供的函数，就像在本地使用一样方便。在遥远的上古年代，微服务和 RESTful + JSON 等调用方式还没有出现和普及时，人们普遍使用 RMI 来实现远程服务请求。
平时使用python写的代码对外部依赖性都不复杂，这些代码在本地调试，运行没问题之后，就可以放到生产去跑了。然而，最近的一个项目，由于使用了一些内部服务，需要连接到内部的环境进行调试。 如果每次都修改代码之后，发布一次到内部环境运行测试，这样子操作流程略显繁琐了。于是乎，我就查阅了一些资料，发现我平时使用的Pycharm可以提供代码远程调试的功能，正好也可以解决我的问题。
Redis采用的是基于内存的采用的是单进程单线程模型的 KV 数据库，由C语言编写，官方提供的数据是可以达到100000+的QPS（每秒内查询次数）。
理解OpenShift（5）：从 Docker Volume 到 OpenShift Persistent Volume
IIS：Microsoft IIS日志文件格式。 NCSA：NCSA公用日志文件格式。 W3C：W3C扩展日志文件格式。
小明负责的模块就要完成了，就在即将Release之前的一瞬间，电脑突然蓝屏，硬盘光荣牺牲！几个月来的努力付之东流
squid是一种用来缓存Internet数据的软件。接受来自人们需要下载的目标（object）的请求并适当的处理这些请求。也就是说，如果一个人想下载一web界面，他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时， squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机上。
1）首先配置好ansible的hosts文件，让其对应主机能够受ansible控制
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： • 收集－能够采集多种来源的日志数据 • 传输－能够稳定的把日志数据传输到中央系统 • 存储－如何存储日志数据 • 分析－可以支持 UI 分析 • 警告－能够提供错误报告，监控机制 ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。 ELK简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。 Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。 Filebeat隶属于Beats。目前Beats包含四种工具：
和SQL注入等攻击方式一样，文件包含漏洞也是一种“注入型漏洞”，其本质就是输入一段用户能够控制的脚本或者代码，并让服务器端执行。
Redis我们都知道Redis的内容是放在内存当中的，如果我们的安装Redis的服务器宕机了，那么我们在内存保存的内容也就丢失了。在Redis当中给提供了不同级别的持久化的方式来进行数据的保存： RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。 AOF持久化方式记录每次对服务器写的操作。当服务器重启的时候会重启执行这些命令来恢复原始的数据，AOF命令以redis协议追加每次写的操作到文件的末尾，Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大。 也可以不运行持久化的方式。
-多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台（功能如下）： 1)整合了各个公有云API，自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机，连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
企业通常会使用Gitlab作为内部代码管理平台，一来私有仓库更加安全，二来gitlab的功能十分完整。但仍不能保证私有仓库中的代码不被泄露到外部，于是对gitlab的权限审计以及下载审计就变得尤为重要。本文将基于gitlab-ee-11.10版本，详细叙述如何对gitlab的权限及代码下载进行审计。
如转载，请注明出处：http://blog.csdn.net/robinson_0612/archive/2009/10/31/4751070.aspx
对任何规模的业务来说，网络监控工具都是一个重要的功能。网络监控的目标可能千差万别。比如，监控活动的目标可以是保证长期的网络服务、安全保护、对性能进行排查、网络使用统计等。由于它的目标不同，网络监控器使用很多不同的方式来完成任务。比如对包层面的嗅探，对数据流层面的统计数据，向网络中注入探测的流量，分析服务器日志等。
基于数据库的数据复制技术大体上可分为两类：数据库自己提供的数据容灾模块和第三方厂商提供的数据库复制技术。以最常见的Oracle数据库为例，Oracle自己的数据复制技术有Data Guard，Streams，Advanced Replication和Golden Gate数据复制软件。第三方厂商的数据复制技术有Quest公司的Share Plex和DSG的RealSync等。
Kubernetes 审计功能提供了与安全相关的按时间顺序排列的记录集，记录单个用户、管理员或系统其他组件影响系统的活动顺序。它能帮助集群管理员处理以下问题：
SecureCRT是一款支持 SSH2、SSH1、Telnet、Telnet/SSH、Relogin、Serial、TAPI、RAW 等协议的终端仿真程序，最吸引我的是，SecureCRT 支持标签化 SSH 对话，从而可方便地管理多个 SSH 连接，设置项也极为丰富。简单的说是Windows下登录UNIX、Linux服务器主机的软件。SecureCRT支持SSH，同时支持Telnet和rlogin协议。 SecureCRT是一款用于连接运行包括Windows、UNIX、VMS的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRT Telnet客户机的所有特点，包括：自动注册、对不同主机保持不同的特性、打印功能、颜色设置、可变屏幕尺寸、用户定义的键位图和优良的VT100、VT102、VT220、ANSI竞争，能从命令行中运行或从浏览器中运行，其它特点包括文本手稿、易于使用的工具条、用户的键位图编辑器、可定制的ANSI颜色等.SecureCRT的SSH协议支持DES,3DES和RC4密码和密码与RSA鉴别。
新浪微博绝对是一个巨大的，实时的语料库！对微博数据爬取和分析，有重大的意义。 比如，现在要调查工商银行的服务态度，就可以抓取微博内容中包含工商银行的微博语料，然后做情感分析，就可以得到用户对银行服务的满意程度。
Nginx是一个开放源代码的高性能HTTP和反向代理服务器，负责处理Internet上某些最大站点的负载。在管理NGINX网络服务器时，你要执行的最常见任务之一就是检查日志文件。 在对服务器或应用程序问题进行故障排除时，知道如何配置和读取日志非常有用，因为它们提供了详细的调试信息。 Nginx用两种类型的日志记录其事件：访问日志和错误日志。访问日志记录有关客户端请求的信息，错误日志记录有关服务器和应用程序问题的信息。 本教程概述了如何配置和读取Nginx访问和错误日志。配置Nginx访问日志的格式与位置，配
一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。
近期，Rapid7安全研究团队发现了Hickory蓝牙智能系列BlueTooth Enabled Deadbolt款式门锁存在多个安全漏洞，漏洞涉及其移动端APP应用和云托管的Web服务和MQTT协议。截至漏洞披露期限前，Hickory官方还未对这些漏洞作出认可，也未发布任何补丁或漏洞修复措施。
在mysql中会生大量的如mysq-bin.000001这类日志文件了，这些都是二进制文件了，如果我们是普通的日志没有进行主从配置就可以直接使用reset master进行删除了这个方法很简单，
以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！ 1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； （3） 具有高可扩展性。
企业平时租用和托管的服务器是有峰值承受限制的，一旦超过了该承受能力，就会导致服务器瘫痪，网站访问不了。而出现这样的直接原因就是在一段时间内，网站的访问量巨大，已经超出了服务器的承受能力。这样的例子比比皆是，以前春运期间，12306网站就频繁出现崩溃，因为那段时间网购火车票的人很多。
企业中，随着用户的增长，数据量也几乎成几何增长，数据越来越大，随之也就出现了各种应用的瓶颈问题。
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。
查找错误日志文件路径show variables like ‘log_error’;
=> /var/log/daemon.log：运行squid，ntpd等其他日志消息到这个文件
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
