近一年内对公司的 ELK 日志系统做过性能优化,也对 SkyWalking 使用的 ES 存储进行过性能优化,在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。
有时候,假如自己的centos的系统yum源坏了,是不是感觉很不爽,没有了yum功能,就感觉有点像地铁线故障了,交通变得异常缓慢,那么如何才能修复损坏的yum源呢? 在这里介绍两种方式 方式一:使用国
由于Docker 在CentOS系统中需要安装在 CentOS 7 64 位的平台,并且内核版本不低于 3.10;CentOS 7.× 满足要求的最低内核版本要求,但由于 CentOS 7默认内核版本比较低,部分功能(如 overlay2 存储层驱动)无法使用,并且部分功能可能不太稳定。所以建议大家升级到最新的稳定内核版本。
上传文件的时候发现总是失败,查看top发现有个进程一直cpu占用80%以上,而且名称还是随机数。kill之后,一会儿又重新生成了。突然发现居然没有在服务端杀毒的经历。在此处补齐。
fluentd 作为开源的数据收集框架。C/Ruby开发,支持使用JSON文件来统一日志数据。可插拔架构,支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性,fluentd 的性能已在许多大型服务中得到检验。实际上,一个普通的 PC 机一次可以处理18,000 条消息/秒。
新上线一个批处理功能,基于Docker发布的。上线之后出现一个问题,Docker批处理生成的文件目录,别的应用程序无法访问。
若要安装最新版 dotnet-gcdump NuGet 包,请使用 dotnet tool install 命令:
journalctl命令是Systemd日志系统的一个命令,主要用途是用来查看通过Systemd日志系统记录的日志,在Systemd出现之前,Linux系统及各应用的日志都是分别管理的,Systemd取代了initd之后便开始统一管理了所有Unit的启动日志,可以只用一个journalctl命令,查看所有内核和应用的日志。
ConfigMap作为Kubernetes中配置资源存储对象,通过ConfigMap可以存储各种各样的配置文件,具体使用方式: 深入探究 K8S ConfigMap 和 Secret,但在使用过程中会碰到各种不方便,一般情况下,特别是没有接入分布式配置中心的服务,配置文件是存储在服务所在特定目录下,这就导致需要我们把配置copy或者load到Kubernetes ConfigMap配置资源对象中,因为ConfigMap使用yaml格式进行存储,改变原来的使用习惯,使用和修改过程中难免出错,于是就引入了ConfigMapGenerator, 它是Kustomize ConfigMap自动生成配置插件,使用方式非常简单,如下图所示:
我们可以向 Nginx 进程发送信号,控制运行中的 Nginx。一种方法是使用 kill 命令,也可以使用 nginx -s :
lsof -i -P | grep LISTEN |grep java 查看应用端口
生产环境使用k8s-1.5版本并且使用kubeadm直接安装后,出现证书一年到期,整个集群无法使用的情况。
TuGraph Analytics作业部署到K8S集群之后,通常会启动多个pod(一个master、一/多个driver、多个container)。用户很难判断作业当前运行的进度如何,也不能通过pod的状态来判断内部进程的状态。无论是查看进度、查看日志、性能分析,都需要到每一个pod中进行对应的操作,运维成本很大,需要一个白屏化的监控页面来监控所有进程的实时状态信息。
execute dbbms_workload_repository.create_snapshot();
前言:在经过前面两篇学习,大家对Linux开发工具都有一定的了解,而在此之前最重要的两个工具就是vim,gcc。
在上一篇文章当中我们聊了怎么在github当中创建一个属于自己的项目(repository),简称repo。除了建立自己的repo之外,我们更多的情况是拷贝别人的repo,这样才可以获得别人整理好的代码资料什么的,也更符合开源(白嫖)精神嘛。
基本不会介绍BBR的原理,需要详细了解,可以访问research,我技术并不够优秀,很难解释清楚,还请见谅!
本文目标是指引从未使用过Linux的.Neter,如何在CentOS7上安装.Net Core环境,以及部署.Net Core应用。
此文章记录了我在VM虚拟机上安装tomcat,并部署webApp,因为我这个项目的是在windows server2003下运行的,所以自己没事研究一下如何部署到linux上面,我用的是 CentOS 6.8 ,附上下载地址
我们每天都会频繁使用Linux命令行,虽然网上关于其使用技巧的资料多种多样,但很多朋友应该并没有进行过实际尝试。因此,今天的文章将对此进行汇总,希望能为大家带来一点帮助。
Jekyll是一个静态站点生成器,它提供了内容管理系统(CMS)的一些优点,同时避免了此类数据库驱动的站点引入的性能和安全问题。它具有“博客意识”,并包含处理日期组织内容的特殊功能,但其用途不仅限于博客网站。Jekyll非常适合需要离线工作的人,更喜欢轻量级编辑器和Web表单进行内容维护,并希望使用版本控制来跟踪他们网站的变化。
距离2022年的.Net大会已经过去两个多月了,.NET7.0也正式出来了很久了,一直想升级,一直没时间,也想着毕竟是只有18个月的标准支持版本,所以一直精力还是放在了6.0,不过该来的还是要来的,正好早些时候,一位粉丝还提了个Issue,让升级7.0,这么简单的需求,必须再次满足,呼啦呼啦三十分钟解决战斗,过程很简单,虽然中间有个很小的BUG,不过不碍事儿,直接看我的提交的Commit就行。
本文讲解了 JVM 的内存划分和分配策略,并以截图和脚本展示常用可视化和命令行工具的使用方法,完整演示了 JVM 优化、内存泄露排查、gc.log 分析方法等。
从此版本开始,全新的 Amanda 授权机制,全新的日志展示方案,全新的样例代码。
jdk在安装的时候会提供一些性能分析、故障诊断、JVM监控之类的工具,了解这些工具对我们分析JVM内存、JVM调优有一定的帮助,本篇文章来学习一下。
1.简介 日志文件记录着mysql数据库运行期间发生的变化,如:mysql数据库的客户端连接状况、sql语句的执行情况和错误信息等。当数据库遭到意外的损坏时,可以通过日志查看文件出错的原因,并且可以通过日志进行数据恢复;也可以通过日志文件分析数据、优化查询等。Mysql日志管理机制比较完善,它包含了以下几种常见的日志文件、分别为:错误日志(-log-err)、查询日志(-log)、二进制日志(-log-bin)、更新日志(-log-update)及慢查询日志(-log-slow-queries)。 2.
分享点自己近4年来接触MySQL数据备份这一块的小经验。数据是一个互联网公司的命脉,数据库的安全以及备案的完整性是至关重要的,所以我们需要在工作中要很熟练的掌握数据的备份与恢复,这也是一个合格的运维DBA必须具有的职业技能。
纯手工打造每一篇开源资讯与技术干货,数十万程序员和Linuxer已经关注。 Linux技术交流QQ群:2659793(十二月最新!!) 以下进入正文 忽略ssh安装scp安装过程。默认认为当前机器与远程机器含有完整的ssh,scp功能 首先在机器B中使用ssh-keygen -t rsa 命令 (想来玩git的童鞋应该知道吧~) 直接按enter键 意思是说请输入密码,如果不输入则为没有密码。当然,我们使用的enter键~之后就是重复输入密码了。两次一定要保持一致哦~,如果第一次不输入,第二次也还要输入哦~
rsync通过服务同步 rsync 通过服务的方式同步(在主机上配置好rsync的各种应用) 要编辑配置文件 /etc/rsyncd.conf rsyncd.conf样例 port=873 log file=/var/log/rsync.log pid file=/var/run/rsyncd.pid address=172.18.30.162 [test] path=/tmp/rsync use chroot=true max connections=4 re
CMS(标记-清除)——》G1(标记整理)——》ZGC(染色指针,多重映射等技术)
前言:git作为一个开源的分布式的版本控制系统,相信很多人都用过,尤其是互联网公司。使用过的人都知道基本的操作如git add、commit、reset、push、pull等基本的操作(当然一般在开发是也算够用),但是往往对里面的概念原理有些模糊,甚至在遇到问题的时候也比较棘手,今天分享的这边文章主要是详细的介绍git如何使用,以及一些细节等,看完之后,相信都会使用。
在集群安装初期由于未规范集群主机的主机名,这样会带来集群管理的不便,现需要将CDH/CDP集群的主机名统一规范化,在修改主机名的过程中需要注意什么?本篇文章主要介绍如何修改Kerberos环境下的CDP集群的HOSTNAME,在修改CDH集群的主机名采用相同的方法。修改集群所有主机的hostname的步骤如下:
MVCC是多版本并发控制(Multi-Version Concurrency Control),是MySQL中基于乐观锁理论实现隔离级别的方式,用于实现已提交读和可重复读隔离级别,也经常称为多版本数据库。MVCC机制会生成一个数据请求时间点的一致性数据快照 (Snapshot), 并用这个快照来提供一定级别 (语句级或事务级) 的一致性读取。从用户的角度来看,好象是数据库可以提供同一数据的多个版本(系统版本号和事务版本号)
InnoDB的性能和自动崩溃恢复特性,使得它在非事务性存储的需求中也有广泛的应用。
详细安装java参考https://www.cnblogs.com/sxdcgaq8080/p/7492426.html
Linux操作系统在作为服务器的场景下应用最为广泛,但是在使用过程中也会遇到莫名崩溃的情况.这时我们就希望能对崩溃前一刻内存中的数据进行分析,从而找到崩溃的原因.本文将对整个过程所涉及到的技术做一个简单但是全面的介绍,包括:如何安装kdump,如何设置系统参数来捕获崩溃前的内存;如何使用crash做简单的分析;并且介绍如何使用更加简便的工具PyKdump来做crash文件的分析.通过了解这些知识, 可以帮助Linux运维人员更快更方便地排查问题.
上篇文章我带着大家通过分析了一遍ASP.NET Core的源码了解了它的启动过程,然后又带着大家熟悉了一遍配置文件的加载方式,最后引出了依赖注入以及控制反转的概念!如果大家把前面几张都理解了,那么你也就入了ASP.NET Core的大门了。但是我们还需要一个版本控制工具来提高我们的编码效率。因此这篇文章我将带着大家了解下Git这个版本控制工具以及为什么选择它。 下面我们将通过故事的形式从Git的历史谈起,并讲述Git的强大之处。然后通过实战演练教你如何在Github以及码云上托管我们的代码并进行代码的版本控制。 这里还想说一句,这篇文章本来昨天就能发出来的,奈何出现了一点状况,所以今天才来写,为了不浪费大家的时间我会在文章的最后再来讲述原因,这里给大家说声抱歉了。 本篇文章已经收入.NET Core实战项目之CMS 第一章 入门篇-开篇及总体规划 有兴趣的朋友可以加入.NET Core项目实战交流群637326624 进行交流。
nginx被停止(nginx -s stop)或者直接杀掉了进程(kill -9 nginx的进程号)后,调用命令(nginx -s reload 或者 nginx -s reopen)会报错:无法找到 “var/run/nginx.pid”文件。
(2)stack - 输出当前方法被调用的调用路径, 一个方法被执行的路径非常多,不知道这个方法是从那里被执行,就可以采用
对GC(Garbage Collection,垃圾收集)算法进行调优是一个涉及多个方面的复杂任务。
前段时间笔者遇到一个MongoBD Plan Cache的bug,于是深究了下MongoDB优化器相关源码。在这里分享给大家,一方面让大家知道MongoDB优化器工作原理,一方面就是避免踩坑。
在前几章中,我们知道了攻击者可以使用cookie来冒充当前用户的身份,在上一章节我们也简单地引入了XSS的基本概念。如果目标站点存在XSS漏洞并且Cookie并没有开启http-only的话,那么它们二者将是Web安全的巨大隐患。
Redis 的 RDB 持久化方案,相信大家都有所了解,但是对于企业来说,如果只是持久化了一个 RDB 文件,不足以应付生产级别的事故。通常的方案就是对 RDB 进行多个备份,今天带大家来真枪实弹操作下 RDB 的冷备,以及通过 RDB 进行数据恢复。
最近在做基于openresty的waf,在测试openresty的过程中用openresty替代了原nginx,结果第二天又自动切换回了原nginx,通过ps -ef 看到nginx在凌晨3点多自动重启。连续几天在多个机器上都发现同样的情况。
墨墨导读:本文主要介绍PostgreSQL的日志文件参数及注意事项,从csv日志中载入数据库。通过灵活的数据加载方式,让SQL在处理很多问题上更加简捷便利。
领取专属 10元无门槛券
手把手带您无忧上云