使用Linux的rename机制保证文件写入要么成功，要么失败，绝对不能出现写了一半的情况。
日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。
注：beats系列(MetricBeat、PacketBeat、Winlogbeat、Auditbeat、Filebeat、Heartbeat等)
Linux系统内核和许多程序会产生各种错误信息、警告信息和其他的提示信息,这些信息对管理员了解系统的运行状态是非常有用的,所以应该把它们写到日志文件中去,完成这个过程的程序就是syslog,syslog可以根据日志的类别和优先级将日志保存到不同的文件中.
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/169492.html原文链接：https://javaforall.cn
Logrotate 程序是一个日志文件管理工具。用于分割日志文件，压缩转存、删除旧的日志文件，并创建新的日志文件，下面就对logrotate日志轮转的记录：
在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。
现象描述： 线上机器的程序文件（包括TOMCAT自身）使用APP账号作为属主运行，同时禁止了APP账号的BASH。登录系统使用了统一认证，这样每个人都有自己的账号登录系统。为了方便开发人员登录查看日志，日志文件的文件权限为"rw-r-r"，同时也是系统默认的umask。这里简单说下umask权限码。在Linux系统下，新建目录的权限是777减去umask码值，新建文件的权限是666减去umaks码值，由于linux默认的umask是0022，所以一般新建目录和文件的默认权限分别是755和644。
除了灵活的使用自定义监控项的方式，这里使用zabbix自带的日志监控。本文使用的是zabbix-5.0版本
我们经常会遇到监控文件变化的需求。例如日志监控程序监控日志文件，一旦日志文件发生变化，就进行读取。或者是大批量爬虫的规则配置文件监控，爬虫本身持续运行，一旦规则文件发生修改就自动读取新的规则。
1、sql nosql：not only sql 2、mariadb的默认引擎用XtraDB来替代mysql的InnoDB 3、redis string,list,set,zset,push/pop,add/remove 使用内存缓存，支持持久化存储，数据类型丰富，主从 4、mongodb 5、mysql有企业版和社区版之分，生产环境一般GA版 下载地址;http://mirrors.sohu.com/mysql/ 6、数据库禁止用kill -9 强制删除 7、path=xx:$path 8、mysql -u -p -h -P 9、mysqladmin -u root password 'xxxx' alter user 'xx'@'' identified by 'xx'; grant all privileges on . to xx@xx identified by xx update mysql.user set authentication_string=password("new password") where User="username" and Host="localhost"; flush privileges; 10、用户表 select user.host from mysql.user; drop user root@':1' drop database test; 11、错误日志 [mysqld_safe] log-error
实际运营时一般设置为很接近CPU的线程数，比如说CPU是8线程，一般设置为6、7。
中央日志服务器和Tomcat节点均向同一个时钟源（例如：pool.ntp.org）进行对时即可。说明：本小节下面命令均以root用户执行，并且在中央日志服务器和Tomcat节点均要执行。
logrotate: linux上的日志工作, 可进行阶段/轮询/压缩/删除的动作
一、分区建议（对于经常访问的目录，单独分区）： 1、/ swap /var /usr /home单独分区 2、/dev/hda1 比 /dev/hda2 比/dev/hda3访问速度快 3、hda1应该式swap分区，第二个分区/var，第三个/usr，剩下/ /home 二、I/O提升调度器 http://www.learnfuture.com/article/2150 1、deadline:数据库要改成这种。截止时间调度算法 2、noop：先进先出，SSD用这种 3、cfq：默认 更改：cat "deadline">/sys/block/sda/queue/scheduler 永久更改：GRUB_CMDLINE_LINUX_DEFAULT="quiet splash elevator=noop" 三、TLB：https://blog.csdn.net/liuchen_csdn/article/details/66975348 1、超大TLB：配置超大TLB的数量：echo x>/proc/sys/vm/nr_hugepages 2、配置后使用方式：
官答栏目针对GreatSQL数据库中的问题，选取官方论坛和讨论群中的典型提问进行深入解答。内容涵盖数据库安装部署、配置优化、故障排查、性能测试等方面。 在文章中，我们不仅提供解决方案，还会结合实例深入剖析问题的成因，提升读者对GreatSQL数据库的理解能力。 如果你在管理、使用GreatSQL数据库时遇到棘手的技术难题，想系统地学习提高数据库技能，就来看看官答的文章吧。这里不仅可以找到可靠的解决方法，还能从中学习到数据库优化的经验和思路。 通过阅读官答的内容，可以全面地掌握GreatSQL数据库管理的技能，熟练应对各种故障情况。快来关注官答栏目，与我们一起成长!
视频监控系统在整个安防领域，已经做到了烂大街的程序，全国起码几百家公司做过类似的系统，当然这一方面的需求量也是非常旺盛的，各种定制化的需求越来越多，尤其是这几年借着人脸识别的东风，发展更加迅猛，人脸识别相关的技术和应用这几年处于风口浪尖，衍生了特别多的应用产品，各种人脸识别的产品遍地开花，刷脸门禁，车站机场人脸识别，刷脸取票等，但是其实大部分内行人士可能都比较绝望，外行感觉像看科幻片一样，老板们各种打鸡血，今天几个亿明天几个亿。
在现代网络应用中，负载均衡是提高性能和可靠性的关键因素之一。通过将请求分发到多个服务器上，负载均衡可以确保请求被合理地处理，并避免单点故障。
二、功能特点 （一）软件模块 视频监控模块，各种停靠小窗体子模块，包括设备列表、图文警情、窗口信息、云台控制、预置位、巡航设置、设备控制、悬浮地图、网页浏览等。 视频回放模块，包括本地回放、远程回放、设备播放、图片回放、视频上传等。 电子地图模块，包括图片地图、在线地图、离线地图、路径规划等。 日志查询模块，包括本地日志、设备日志等。 系统设置模块，包括系统设置（基本设置、视频参数、数据库设置、地图配置、串口配置等）、录像机管理、摄像机管理、轮询配置、用户管理等。 （二）基础功能 支持各种视频流（rtsp、
因为公司的各种高自研发的系统非常多，这些系统又全部是在使用LDAP做认证，目前我们有几台DC控制器来分担这些ldap请求，用户通过访问ldap.xxxx.com这个域名来连接ldap服务器，我们通过DNS轮询的方式指向不同的DC服务器。
Netty Review - NioServerSocketChannel源码分析
大型互联网的系统一般会架构散布于多个数据中心和一些私有/公有云，由真实物理机以及虚拟机组成。架构中部署的关键工具包括实现报警的Zabbix，以及一个采集、聚合和存储度量的六阶段流水线。流水线主要由开源
下载连接：http://pkgs.fedoraproject.org/repo/pkgs/haproxy/
nohup python -u test.py > test.log 2>&1 &
参考 B站视频 PPT 参考文章 为什么要使用消息队列 主要考察应用场景及优缺点 优点 解耦: 不同服务间的调用 异步：不同系统间的调用 消峰：秒杀等场景，平时量不高，但在特定时间会有大量请求的情况，配置基础服务器资源，并引入MQ平滑处理请求，亦节约了成本。 缺点 可用性降低: 依赖于MQ，若MQ异常，将导致业务异常甚至系统崩溃 复杂度提高：需要考虑消息丢失，重复消费等问题 一致性问题：多个队列同时操作，部分消费失败的问题，异步的处理返回给用户是成功 消息队列产品比较 如何根据特点进行取舍
通过onvif来调整图片的Brightness(亮度)、ColorSaturation(色彩饱和度)、Contrast(饱和度)这三个参数，可以实时观测到监控画面对应的变化，比如讲亮度Brightness拉到最低，可以看到这个画面一片漆黑。通过onvif来调节图片的颜色光线，就无须通过厂家私有SDK去调节，当然厂家SDK能够去调节的参数肯定更多更全更好速度更快，这个功能用到的地方不多，大部分的时候其实还是安装调试期间，直接在前端摄像机的网页配置界面或者客户端界面上调整好，一般调整好以后基本上不会再去改动，尤其是经过验收的项目，经过专家的建议调整后固定在那个参数就行。
grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，基于商业友好的 Apache License 2.0 开源协议。是网络架构和应用分析中最流行的时序数据展示工具，并且也在工业控制、自动化监控和过程管理等领域有着广泛的应用。grafana有热插拔控制面板和可扩展的数据源，目前已经支持绝大部分常用的时序数据库。 在Linux上可以直接通过yum或r'p'm安装，服务名为grafana-server，默认端口3000，默认使用sqlit3数据库，初始账号和密码都为admin。
1、Nodejs 1) 简单的说 Node.js 就是运行在服务端的 JavaScript。 2) Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。 3) Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。 4) 我们写下的js代码，是在单线程的环境中执行，但nodejs本身不是单线程的。如果我们在代码中调用了nodejs提供的异步api（如IO等），它们可能是通过底层的
时隔一年多，重新对视频监控系统的onvif内核重写，一方面为了兼容Qt6，一方面按功能分类提高效率。整体逻辑思路是一样的，主要的改动是由于Qt6不再支持QtXmlPatterns模块（其实这个模块在Qt5的后面的版本也逐渐提示为废弃模块），onvif协议通信中的数据都是带有命名空间的xml数据，用QtXmlPatterns模块去解析是最合适的，现在全部改成了用最原始最基础的QtXml模块去解析，毕竟QtXml模块肯定是一直在的，这是相当基础的模块，无论以后Qt7还是Qt100肯定都会有。
预置位在视频监控系统中是不可或缺的存在，响应预置位功能的前提是要带预置位的云台球机，有些普通的云台球机其实不带预置位的，这个要检查清楚，硬件上不支持该功能的，你再怎么点也没反应。在这个视频监控系统的使用过程中，就有不少的用户会问这个问题，为啥他点了云台没法应之类的，前提是要硬件支持才行啊。
fsnotify是一个用Go编写的文件系统通知库。它提供了一种观察文件系统变化的机制，例如文件的创建、修改、删除、重命名和权限修改。它使用特定平台的事件通知API，例如Linux上的inotify，macOS上的FSEvents，以及Windows上的ReadDirectoryChangesW。
版权声明：欢迎交流，菲宇运维！ https://blog.csdn.net/bbwangj/article/details/82970363
OpenFeign 是 Spring 官方推出的一种声明式服务调用和负载均衡组件。它的出现就是为了替代已经进入停更维护状态的 Feign（Netflix Feign），同时它也是 Spring 官方的顶级开源项目。我们在日常的开发中使用它的频率也很高，而 OpenFeign 有一些实用的小技巧，配置之后可以让 OpenFeign 更好的运行，所以本文我们就来盘点一下（也欢迎各位老铁评论区留言补充）。
本文实现了一个类似jenkins滚动日志的小功能，如果你正在做发布系统类似的东西，这个功能会非常有用。
昵称：院长 性别：男 爱好：羽毛球，乒乓球，嗨歌，钻研技术 技能：在下方 职位：落魄技术
NAME crontab - maintain crontab files for individual users #crontab-包含crontab文件用于指定用户
死锁（Dead Lock）指的是两个或两个以上的运算单元（进程、线程或协程），都在等待对方停止执行，以取得系统资源，但是没有一方提前退出，就称为死锁。
Haproxy是一款高性能的负载均衡软件。因为其专注于负载均衡这一些事情，因此与Nginx比起来在负载均衡这件事情上做得更好，更专业。
整个onvif模块大部分的功能都有了以后，除了在demo上点点按钮可以执行获取结果显示外，最终还是要应用到视频监控中，在按钮上点点和系统中后台自动运行是两码事，比如onvif校时和事件订阅，不会说是傻到在监控系统界面上提供按钮给用户点击才去执行，最多做的应该是系统设置中提供两个开关比如自动校时、事件订阅，可以方便的开启这几个功能。开启以后等监控系统启动后自动去处理，比如挨个对摄像机进行校时处理以及订阅事件，为了能够做到添加摄像机后自动立即应用，特意改成了在打开摄像机视频画面的时候，主动去实例化DeviceOnvif类（每个摄像机都对应一个实例）
通道切换在视频监控系统中是最基础的必备功能，一般都会提供1通道+4通道+6通道+8通道+9通道+16通道这几个通道切换，可能做得比较好的还会提供24通道+32通道的，这个可能对电脑的配置就有一定要求了，一般来说，超过9个通道实时显示视频流，基本上会采用子码流来显示，如果都采用主码流，电脑压力非常巨大，CPU占用很高，内存也高，不过现在的电脑配置越来越高，基本上四千多的台式机，配置已经非常好了，显示个16个通道的实时视频毫无压力。 Qt中的布局非常好用，尤其是QGridLayout表格布局，可以指定行列放置控件，而且还可以设置每个控件占用几行几列，这样就可以完美的实现各种通道布局了。比如6通道，可以设置通道1占用两行两列，其他通道各站一行一列即可，当切换布局的时候，其他隐藏即可。
服务器放行 3000 端口，将数据库文件 db.sql 导入到 mysql，修改 service 目录下 .env 里数据库配置信息和邮箱配置信息，其他配置信息无需改动
在视频监控系统中，对摄像机进行时间设置也是很有必要的，这样就和服务器或者软件这边统一了时间，一般在摄像机的画面上可以设置OSD标识当前时间，这样存储到视频文件中回放的时候，也能和本地的时间一致，一般的视频监控系统默认都会开启ONVIF校时，通过标准的公开的onvif协议来对前端摄像机设备进行时间设置，当然也可以获取时间。前端摄像机设备和后端管理软件或者服务器时间统一是非常重要的一个因素，本人经历过很多视频监控系统相关的项目，很多时候的报修情况就是因为前端设备时间和服务器端不一致的情况，导致的各种奇奇怪怪的问题。
服务器有敏感数据，不允许直接登陆服务器查看日志文件，也不允许使用如ELK等日志功能收集日志，所以只能使用最简单的办法，只将错误日志进行收集，然后通过应用的webhook进行收集。
1.1 Zabbix简介 Zabbix是一个企业级的开源分布式监控解决方案，由一个国外的团队持续维护更新，软件可以自由下载使用，运作团队靠提供收费的技术支持赢利。官方网 站：http://www.zabbix.com官方文档：http://www.zabbix.com/documentation/2.2/manual/。Zabbix通过C/S模式采集数据，通过B/S模式在web端展示和配置。 Zabbix运行条件： Server：Zabbix Server需运行在LAMP（Linux+Apache+
1. InnoDB 支持事务，MyISAM 不支持事务。这是 MySQL 将默认存储引擎从 MyISAM 变成 InnoDB 的重要原因之一; 2. InnoDB 支持外键，而 MyISAM 不支持。对一个包含外键的 InnoDB 表转为 MYISAM 会失败;
MySQL集群搭建在实际项目中还是非常必须的，我们通过PXC【Percona XtraDB Cluster】来实现强一致性数据库集群搭建。
提供全球可用NTP服务器列表，挑选适合自己（通常为物理位置附近）的NTP服务器。如：cn.ntp.org.cn。
目的是: 前端访问一个url, nginx自动将请求分发到不同的服务上,实现负载均衡.
关系图谱（点击看大图）： 部分名词： 名词 全写 解释 备注 DPDK Data Plane Development Kit 数据平面开发套件或叫数据平面开发工具集 Intel开源的快速数据包处
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
