使用Java读取文件时，要评估文件的大小，避免因为文件过大而造成OOM，参见：Java高效读取文件 RateLimiter可以用来限制请求的速率，有两种应用场景：针对一些核心接口，在参与大促（双十一）等活动时，为了避免服务被突然暴涨的流量打挂，需要限流；在进行数据迁移或数据扫描时，为了避免对DB的压力过大，也需要限流。 在Linux下要求两个文件的差集：grep -F -v -f b.txt a.txt | sort | uniq，参考：LINUX Shell 下求两个文件交集和差集的办法 logbac
之前用frp，实现了22端口的内网穿透，在公网可以直接ssh连接我的实验室主机。方便的同时，也带来了非常恐怖的事情。
linux常见的文件系统有以下几类： 1、文件系统 Linux是通过文件系统在存储设备上存储文件和目录的。Linux的文件系统为我们在硬盘中存储的0和1和应用中使用的文件与目录之间搭建起了一座桥梁。
logrotate: linux上的日志工作, 可进行阶段/轮询/压缩/删除的动作
最近在公司遇一个需求，要从上个月甚至是半年的日志文件中筛选出用户首次访问站点，是通过什么入口跳转进来的，访问的资源有哪些等等一些信息，无奈日志实在太大，需要经过重重筛选才能获得到自己想要的数据。这其中用到的数据过滤，对上千万行，甚至上亿行文件内容比较，取文件交集、并集、差集等等操作，这其中不仅仅只是用到了awk一个操作，但我们这几期内容重点分享一下awk使用心得。
果您需要在全局范围内修改默认时区，需要在MySQL的配置文件my.cnf中添加以下行：
dmesg 命令用于检查和控制内核的环形缓冲区。Kernel 会将开机信息存储在 ring buffer 中，我们可以从中获得诸如系统架构、CPU、挂载的硬件，RAM 等多个运行级别的大量的系统信息。可利用 dmesg 来查看系统的启动信息。开机信息也会保存在 /var/log/dmesg。
消息队列目前流行的有三种 1. RabbitMQ 2. ActiveMQ 3. Kafka 这三种都非常强大，RabbitMQ目前用的比较多，也比较流行，阿里也在用 ActiveMQ是阿帕奇出品，但是性能上和RMQ相比相对差一些 卡夫卡呢，使用场景不同，不多介绍，主要是用于日志收集方面，结合hadoop非常灵活 RabbitMQ官网：http://www.rabbitmq.com/ 安装不多说了，可以下载Windows版本，或者linux版本 下载页面： http://www.rabbitmq.com/do
本文总结接口性能测试中,常见的性能指标概念,查看及通用通过标准 注: 本文只考虑B/S架构
EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志分析系统解决方案。 EFK 和 ELK 只有一个区别， 收集日志的组件由 Logstash 替换成了 FileBeat，因为 Filebeat 相对于 Logstash 来说有2个好处：
Linux是一种开放的、因Internet而产生的操作系统。Internet的发展、以网络为中心的计算模式如电子商务被迅速接受和普及，都为 Linux提供了更巨大的机会，使之成为企业和部门级的首选平台。同时，Linux也以其对新技术的巨大包容能力为自身发展提供了良好的生长和栖息环境。这表现在其内核技术的发展为Linux环境下管理数据、存储数据、分配数据、升级数据提供了高性能的系统技术支持。ext3文件系统就属这类技术中较突出的一种。 日志文件系统 通常在系统运行中写入文件内容的同时，并没有写入文件的元数据（如权限、所有者及创建和访问时间），如果在写入文件内容之后与写入文件元数据之前的时间差里，系统非正常关闭，处于写入过程中的文件系统会非正常卸载，那么文件系统就会处于不一致的状态。当重新启动时，Linux会运行fsck程序，扫描整个文件系统，保证所有的文件块都被正确地分配或使用，找到被损坏的目录项并试图修复它。但是，fsck不保证一定能够修复损坏。出现这种情况时，文件中不一致的元数据会填满已丢失文件的空间，目录项中的文件项可能会丢失，也就造成文件的丢失。 为了尽量减少文件系统的不一致性，缩短操作系统的启动时间，文件系统需追踪引起系统改变的记录，这些记录存放在与文件系统相分离的地方，通常我们叫“日志”。一旦这些日志记录被安全地写入，日志文件系统就可以应用它们清除引起系统改变的记录，并将它们组成一个引起文件系统改变的集，将它们放在数据库的事务处理中，保持在状态下有效数据的正常运行，不与整个系统的性能发生冲突。在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录进行恢复。由于日志文件中有定期的检查点，通常非常整齐。文件系统的设计主要考虑效率和性能方面的问题。 Linux可以支持许多日志文件系统，包括FAT、VFAT、HPFS（OS/2）、NTFS（Windows NT）、UFS、XFS、JFS、ReiserFS、ext2、ext3等。 ext3支持多种日志模式 ext3 是ext2文件系统的高一级版本，完全兼容ext2，与ext2主要区别便是具有快速更新文件的存储功能。计算机自磁盘上读取或写入数据开始就必须保证文件系统中文件与目录的一致性，所有日志文件中的数据均以数据块的形式存放在存储设备中，当磁盘分区时文件系统即被创建，按照文件形式、目录形式支持存储数据和组织数据。Linux的文件和目录采用层次结构文件系统，文件系统一般是在安装系统时通过使用“mount”命令安装上的，用于使用的文件链表存储在文件/etc/fstab中，用于维护而安装的文件链表则存放在/etc/mtab中。 ext3提供多种日志模式，即无论改变文件系统的元数据，还是改变文件系统的数据（包括文件自身的改变），ext3 文件系统均可支持，以下是在/etc/fstab文件引导时激活的三种不同日志模式： ◆data=journal日志模式 日志中记录包括所有改变文件系统的数据和元数据。它是三种ext3日志模式中最慢的，但它将发生错误的可能性降至最小。使用“data= journal” 模式要求ext3将每个变化写入文件系统2次、写入日志1次，这将降低文件系统的总性能，但它的确是使用者最心爱的模式。由于记录了在ext3中元数据和数据更新情况，当一个系统重新启动的时候，这些日志将起作用。 ◆data=ordered日志模式 仅记录改变文件系统的元数据，且溢出文件数据要补充到磁盘中。这是缺省的ext3日志模式。这种模式降低了在写入文件系统和写入日志之间的冗余，因此速度较快，虽然文件数据的变化情况并不被记录在日志中，但它们必须做，而且由ext3的daemon程序在与之相关的文件系统元数据变化前执行，即在记录元数据前要修改文件系统数据，这将稍微降低系统的性能（速度），然而可确保文件系统中的文件数据与相应文件系统的元数据同步。 ◆data=writeback日志模式 仅记录改变文件系统的元数据，但根据标准文件系统，写程序仍要将文件数据的变化记录在磁盘上，以保持文件系统一致性。这是速度最快的ext3日志模式。因为它只记录元数据的变化，而不需等待与文件数据相关的更新如文件大小、目录信息等情况，对文件数据的更新与记录元数据变化可以不同步，即ext3是支持异步的日志。缺陷是当系统关闭时，更新的数据因不能被写入磁盘而出现矛盾，这一点目前尚不能很好解决。 不同日志模式间有差别，但设置的方法一样方便。可以使用ext3文件系统指定日志模式，由/etc/fstab启动时完成。例如，选择data=writeback日志模式，可以做如下设置： /dev/hda5 /opt ext3 data=writeback 1 0 在一般情况下，
1、 server和agent的主机系统时间差不能大于15个小时，若时间差不超过15小时打印【防篡改校验错误】类似信息，忽略即可，不会有影响
ASP.NET Core 从 2.2 版本起，在 IIS 下可以使用 InProcess 模式提高性能，国外大神 Rick Strahl 对此有一片详细的文章。3年过去了，现在 ASP.NET Core 已经到了 5.0 版本，不同服务器之间的性能有什么变化呢？我们来一起看一下吧。
外部虽然修改了时区和时间，但是docker容器中的时间并没有修复，所以需要将外部的文件引入到内部里。
1、sql nosql：not only sql 2、mariadb的默认引擎用XtraDB来替代mysql的InnoDB 3、redis string,list,set,zset,push/pop,add/remove 使用内存缓存，支持持久化存储，数据类型丰富，主从 4、mongodb 5、mysql有企业版和社区版之分，生产环境一般GA版 下载地址;http://mirrors.sohu.com/mysql/ 6、数据库禁止用kill -9 强制删除 7、path=xx:$path 8、mysql -u -p -h -P 9、mysqladmin -u root password 'xxxx' alter user 'xx'@'' identified by 'xx'; grant all privileges on . to xx@xx identified by xx update mysql.user set authentication_string=password("new password") where User="username" and Host="localhost"; flush privileges; 10、用户表 select user.host from mysql.user; drop user root@':1' drop database test; 11、错误日志 [mysqld_safe] log-error
随着容器化、云原生等的流行，DevOps团队也在不断鼓吹「以无状态为荣，以有状态为耻」。因为有状态的服务难以部署、难以扩展。下面我举几个自己工作中实际的例子。
ELK是什么？ E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。 L=LogStash ， 一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元 K=Kibana ， 一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作，并拥有漂亮的图形化展示功能 为什么要用ELK？ 在实际应用中，我们的日志是非常重要的，它通常会记录一些比较重
至此，我们介绍了linux系统中常用命令的使用方法，简述了bash程序的使用方法和工作流程。在使用bash编写脚本程序时，熟练掌握这些工具的用法，往往能够达到事半功倍的效果。
现在 tulang 终于迈出了第一步，已实现自举，已自举实现了 compiler,std,runtime ，覆盖了上百个测试用例
打开 Default Value 可以和 代码中设置 ini_set('display_errors','On');起到同样的效果
通过 slowlog get 查看慢查询日志是什么样子？【从其他redis服务器看的】
一、前言 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、key-Value 的数据库、并提供多种语言的API。 通常，Redis 将数据存储于内存中，或被配置为使用虚拟内存。通过两种方式可以实现数据持久化：使用截图的方式，将内存中的数据不断写入磁盘；或使用类似 MySQL 的日志方式，记录每次更新的日志。前者性能较高，但是可能会引起一定程度的数据丢失；后者相反。 解释了为什么选用6379作为默认端口，因为6379在手机按键上M
本篇聊一聊 新的主题：《反弹shell-逃逸基于execve的命令监控》，打算写一个专题，预估可以写三篇，内容确实有点多，也是最近研究了一些有意思的东西，想给大家分享一下。喜欢的话，请大家一定点在看，并分享出去，算是对我原创最大的支持了。
第1章 监控简介 一个开源的监控系统，它从应用程序中实时获取时间序列数据，然后通过功能强大的规则引擎，帮助你识别监控环境所需的信息 ---- 1.1 什么是监控 监控将系统和应用程序生成的指标转换为对应的业务价值。你的监控系统会将这些指标转换为衡量用户体验的依据，该依据为业务提供反馈，以确保为客户提供了所需的产品。同时该依据还提供了对技术的反馈，指出哪些组件不起作用或者导致服务质量下降 监控系统有以下两个“客户” 技术 业务 1.1.1 技术作为客户 通过监控来了解技术环境状况，还可以帮助检测、诊断和解决技
MQTT是一个物联网传输协议，它被设计用于轻量级的发布/订阅式消息传输，旨在为低带宽和不稳定的网络环境中的物联网设备提供可靠的网络服务。MQTT是专门针对物联网开发的轻量级传输协议。MQTT协议针对低带宽网络，低计算能力的设备，做了特殊的优化，使得其能适应各种物联网应用场景。
内核是操作系统非常重要的组成部分，同时也是操作系统的核心。内核管理着系统资源，内核向上连接着应用程序，向下连接着硬件，它是应用程序和硬件的桥梁。
NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。随着互联网 web 2.0 网站的兴起，传统的关系数据库在应付 web 2.0 网站，特别是超大规模和高并发的 SNS(社交) 类型的 web 2.0 纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL 数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。
事情是这样的，昨天开发让我给他倒个日志，由于历史原因吧，没有日志系统，直接上服务器看了下他要的日志大小
在回答这个问题前，不妨先问大家几个问题：为什么我们需要操作系统？操作系统的出现解决了什么问题？为什么我们的电脑软件需要运行在诸如Win、Linux、MacOS等操作系统之上？
前言：今日，笔者受邀参加“Dell&RedHat HPC研讨会”。会上，分享了红帽在HPC领域的解决方案。由于很多朋友关心这个话题，因此将演讲的内容分享出来，供大家参考。PPT在书写过程中，得到了同事
通过 getconf LONG_BIT Linux查看系统位数命令：返回的结果如果是64，说明linux系统属于64位；返回32，系统属于32位。
在我们写业务逻辑中,总会碰到某些"自动更新"和"定时任务"的需求,那么,该如果实现这些需求呢? 一:分析需求 其实,大概的需求实现分为2种:"伪自动"和"真自动" 1:什么是伪自动呢? 场景(1):
最近在构建日志系统，对比了ELK还有LPG，发现LPG更加适合我们系统。奈何网上可靠的文章真是太少了，大多都是抄来抄去，整个过程躺过无数坑，特记录一下，回馈给读者。文章的所有配置文件都可以直接使用，并且配置做了优化，不会出现莫名其妙的问题。
我们的项目工程里经常在每个函数需要用到 Random 的地方定义一下 Random 变量（如下）
这件事是真实的发送在我们的生产环境上，其中的一台服务器上跑着 4 个 jar 程序，隔三差五的会发送进程突然消失的问题。
最近，一直在研究服务器性能优化和高并发请求访问，调研了非结构化数据（NoSQL）和内存加速（Cache），对老平台服务进行重新架构设计，力求节约成本10000美金/每月。
我们都知道，在生产环境中经常会遇到很多异常，报错信息，需要查看日志信息排查错误。现在的系统大多比较复杂，即使是一个服务背后也是一个集群的机器在运行，如果逐台机器去查看日志显然是很费力的，也不现实。
今天，看大家在QQ群中聊到不知道如何在FreeSWITCH中将SIP Trace的结果放入日志文件中。我便答应大家我今晚研究一下。 事情的起因是这样的。FreeSWITCH内置了SIP Trace，可以很方便的在控制台或fs_cli中抓到SIP消息，配合日志调试起来非常方便。以前我应该也讲过，在FreeSWITCH中开启SIP Trace的命令是： sofia global sip trace on 当然，也可以单独针对某个Profile开启或关闭日志，如： sofia profile internal siptrace on sofia profile internal siptrace off 问题时，开启日志后SIP消息只能在控制台上显示，但不会同时进入日志文件中，显然，如果想从日志文件中同时看到SIP就比较麻烦了。因而，便出现了今天的主题：如何将SIP Trace放入日志？ 首先，我想，提到该问题的人可能一般的是Windows用户吧。因为一般来说，我在Mac上（或Linux）上，Shell足够好用，因而，可以毫不费力的在Shell窗口（即FreeSWITCH控制台上）中将带有SIP消息的日志一块Copy出来粘贴到其它文件中。但在Windows上就没有那么方便了，因为Windows的命令行窗口出奇的烂，从里面Copy个文字特别麻烦。而且，有很多人根本不知道如何Copy（虽然确实有办法可以做到）。因而，常见的做法是直接用QQ抓屏，但很显然，抓屏是有限制的，那就是，一屏能显示的信息实在是太短了，如果要抓到SIP消息，那简直是个累死人的活。 而且，在此我也想插一句，我在帮人看日志时是非常讨厌抓屏的。因为看起来其实不直观，而且，没法搜索，没法Copy，没法引用…，总之，不爽。可能光说不爽有人觉得我矫情，那就说一下为什么不爽吧。比如有人在QQ群中问了个问题，我问他打的是什么命令，它将他打的命令抓了个图片发到QQ群中，我一眼就发现他的命令该怎么改成正确的方式，只要我将它的命令复制一遍，改几个字即可，但是，由于他是抓屏，因此我没法修改... 言归正传，所以，特别是Windows用户，一般是到日志文件中去找到相应的日志再复制出来，并且，有时候他们也希望SIP Trace出来的消息也同时在日志文件里面。 当然，既然我答应大家研究，就一定要出结果的（为什么要研究呢？因为我一直不用，所以没试过）。通过研究我发现，写日志文件的功能是在mod_logfile中实现的。里面有这么一行配置： <map name="all" value="debug,info,notice,warning,err,crit,alert"/> 到这里科普一下。在FreeSWITCH中，日志是有级别的，一般来说就是上面列的一些级别。当然，上面没有包括一个特殊的级别，那就是 console 级别。而SIP Trace的消息正是在 console 级别的，因而，它只有控制台上显示，而不会在日志文件中显示。明白了这个道理，想办法将console级别的日志放入日志文件就简单了，修改配置如下： <map name="all" value="console,debug,info,notice,warning,err,crit,alert"/> 然后，重新加载模块即可： reload mod_logfile 再看SIP Trace的结果，都写到日志文件中去了，Bingo! 当然，任何事情并不只有一种办法，第二种办法是什么呢？留点引子，明天再讲。 既然今天说到mod_logfile，就索性把这一模块也讲了吧。其实，有了上面的，也没什么好讲的。mod_logfile的作用就是将系统日志写到日志文件中去，并有相应的参数配置文件的路径以及文件的最大长度。如果文件写到一定的大小，则会自动发生轮转（rotate），以防止在长期运行过程中产生巨大无比的日志文件。 ---------------------------------------- 题图：Log 来自 Google Log本来是「圆木」的意思，但我们这些程序员们都将Log译为「日志」。 ---------------------------------------- FreeSWITCH-CN是什么？ FreeSWITCH-CN是FreeSWITCH中文社区，我们的官方网站是 http://www.freeswitch.org.cn 。FreeSWITCH-CN同时也是一个微信公共账号，可以通过点击本页最顶端的“FreeSWITCH中文社... ”，或在通迅录->订阅号中搜索“FreeSWITCH-CN”来订阅，也可以到官方网站上扫描二维码。当然，不管是新用户还是老用户，随时都可以输入m或1显示本账号的主菜单。 FreeSWITCH-
MySQL性能优化是一个老生常谈的问题，无论是在实际工作中还是面试中，都不可避免遇到相应的场景，下面博主就总结一些能够帮助大家解决这个问题的小技巧。
回望整个过年期间真的是躺的平平的，每天学习的时间和平时比起来差的不是一星半点。今天就复工了，也要收心了。我这个人有一个比较牛逼的能力就是状态调整特别快，只需要往工位上一坐下，我就能进入复工状态了。
crond的概念和crontab是不可分割的。crontab是一个命令，常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行
受PromQL的启发，Loki也有自己的LogQL查询语句。根据官方的说法，它就像一个分布式的grep日志聚合查看器。和PromeQL一样，LogQL也是使用标签和运算符进行过滤，它主要分为两个部分：
先介绍下个人情况，国内top5本硕科班，英特尔和腾讯两段实习经历，几个项目和还没中的论文QVQ。目前提前批和内推已经基本结束，有意向的offer也有了几个，现整理下C++后台的面经（包括春季实习招聘）合集回馈各位牛友。有些问题可能时间久远记得不太清楚了，主要给大家看下面试官都问了哪些问题的类型吧，话不多说黑喂狗！
前言 本文参考IT基础架构和运维成熟度模型中的技术项，探讨Linux运维相关内容。本文由我和我的另外两名同事一起完成。 从基础架构和IT运维成熟度模型谈起 Gartner提出的IT基础架构和运维成熟度
CentOS7.6日志服务是rsyslogd ,CentOS6.x日志服务是syslogd 。rsyslogd功能更强大。rsyslogd的使用、日志文件的格式，和 syslogd 服务兼容的。原理示意图
在Windows系统中，MySQL的配置文件为my.ini，在Linux系统中，配置文件为my.cnf，一般存放路径为/etc/my.cnf或/etc/mysql/my.cnf。
1.针对终端安全风险专项排查，应该如何排查，如何发现终端安全的风险敞口，如数据泄露等问题？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
