如前一章提到，监控有赖于运维各专业条线协同完善，通过将监控体系进行分层、分类，各专业条线再去有重点的丰富监控指标。
前面我们介绍了HDFS，作为HDFS的第一代上层架构，我们必须讲解一下hadoop的MapReduce结构，可以说这一结构促进了大数据的兴起。
环境：两台联想R680的物理机搭建一套2节点RAC，数据库版本为ORACLE 11.2.0.4
来源：https://www.tuicool.com/articles/JzQvUb 秒杀系统涉及到的知识点 高并发，cache，锁机制 基于缓存架构redis,Memcached的先进先出队列。 稍
比如有10件商品要秒杀，可以放到缓存中，读写时不要加锁。 当并发量大的时候，可能有25个人秒杀成功，这样后面的就可以直接抛秒杀结束的静态页面。进去的25个人中有15个人是不可能获得商品的。所以可以根据进入的先后顺序只能前10个人购买成功。后面15个人就抛商品已秒杀完。
近年来，随着计算机技术的飞速发展，以及行业信息的共享,传统企业的运维己不再是固步自封，日新月异的计算技术的发展推动企业云平台的建设，云平台的计算能力为大数据分析提供了基础、云平台与大数据分析又将推动运维人工智能的发展。放眼云、大数据、人工智能的运维发展方向的同时，作为运维的生命线，安全生产保障的生命线仍需强调。作为传统企业的安全生产保障，主要以“监”、“管”、“控”为核心，其中“监”则主要指的的监控。
每个模块工作职责： 1、Zabbix Server：Zabbix Server为核心组件，用来获取agent存活状况及监控数据。所有的配置、统计、操作数据均通过Server进行存取到database； 2、Database Storage：用户存储所有配置信息，以及存储由Zabbix Server收集到的数据； 3、Web Interface：Zabbix的GUI接口，通常与Server运行在同一台主机上； 注意：如果采用SQLite作为数据库，web接口和Zabbix Server必须运行在同一台主机上 4、Zabbix Proxy：常用于分布监控环境中，代理Server收集部分被监控的监控数据并统一发往Server端；（通常大于500台主机需要使用） 5、Zabbix Agent：部署在被监控主机上，负责收集本地数据发往Server端或Proxy端； 二、具体工作原理：
我们都知道，我们每执行一次 SQL，数据库除了会返回执行结果以外，还会返回 SQL 执行耗时，以 MySQL 数据库为例，当我们开启了慢 SQL 监控开关后，默认配置下，当 SQL 的执行时长大于 10 秒，会被记录到慢 SQL 的日志文件中。
平均数：一系列数字的算术平均值。 中位数：是一组数据的中间值；比如1,2,2,2,3,9————算术平均数为3.17，中位数为2。
BeeAPM是一个分布式跟踪和应用性能监控系统。该系统应用JavaAgent技术，使用bytebuddy（基于ASM的框架）进行字节码植入，从而对java应用程序进行相关数据采集和性能监控， 对应用无侵入。
10. HashMap 和 Concurrentmap 区别10. HashMap 和 Concurrentmap 区别
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wanglei_storage/article/details/51076882
公司某业务使用的Redis集群是自建的，前段时间计划将自建Redis集群迁移到购买的阿里云集群。 老集群共有 350W key，占用内存 8.8 G，DTS迁移前分析发现有近两百万的key无需迁移，于是提前删除了这两百万key。 删除key后发现redis内存竟然几乎无变化，350W key删除了两百万，怎么也得释放几G内存吧。难道删除失败了？通过比对数据发现，计划被删除的数据确实已经删除了。 为什么删除了两百万key，内存未释放呢？这个问题一直困扰着我，通过查阅资料终于弄明白了。
Redis 是内存数据库，如果不将内存中的数据保存到磁盘，进程退出的时候内存中的数据也会被清除。为了解决该问题，Redis 持久化有两种方式，分别是RDB和AOF。下面会比较详细介绍这两种持久化方式。
分布式系统都存在这样一个问题，由于网络的不稳定性，决定了任何一个服务的可用性都不是 100% 的。当网络不稳定的时候，作为服务的提供者，自身可能会被拖死，导致服务调用者阻塞，最终可能引发雪崩连锁效应。
负载测试（Load Testing）：负载测试是一种主要为了测试软件系统是否达到需求文档设计的目标，譬如软件在一定时期内，最大支持多少并发用户数，软件请求出错率等，测试的主要是软件系统的性能。
作为运维者，第一个接触的基本上是监控平台，各种各样的监控，看各种各样的指标，好像没有监控就觉得不正常，那么为什么需要监控呢？
1. RabbitMQ 持久化机制 ---- RabbitMQ 的持久化分为队列持久化、消息持久化和交换器持久化。 不管是持久化的消息还是非持久化的消息都可以被写入到磁盘。区别在于重启之后数据还在
答：is是同一性运算符，是判断两个对象的id地址是否相同，是否指向同一块区域；==是比较操作符，用来判断两个对象的数据类型和值是否相同。
一、ZooKeeper简介 ZooKeeper作为分布式系统中重要的组件，目前在业界使用越来越广泛，ZooKeeper的使用场景非常多，以下是几种典型的应用场景： l 数据发布与订阅(配置中心) l 负载均衡 l 命名服务(Naming Service) l 分布式通知/协调 l 集群管理与Master选举 l 分布式锁 zk环境搭建 这里不详细说明，提供详细blog说明。 Zookeeper集群搭建：https://cloud.tencent.com/developer/article/1021111 Z
序言 吹吹牛逼先，借我你的20分钟，保证你在.net中使用memcached缓存数据，畅通无阻，提升数据读取效率，分担数据库压力，便不在话下。 本篇主要说下：memcached分布式缓存的负载均衡配置比例，数据压缩，socket的详细配置等，以及在.net中的常用方法。 memcached是什么，做什么的，为什么要使用它，本篇不做介绍，建议百度百科，我看拉下，那里比我还能吹牛逼，哈哈，上料。 memcached在windows下的下载与安装 下载地址：http://pan.baidu.com/s/1yVIL
缓存论坛首页有效期:设置论坛首页缓存更新的时间，单位为秒，0 为关闭(关闭以后，缓存系数将不再起作用)，建议设置为 900。此功能只针对游客 缓存帖子有效期:设置帖子页面缓存更新的时间，单位为秒，0 为关闭。请根据实际情况进行调整，建议设置为 900。 缓存目录:默认为 data/threadcache 目录，如果您需要将其指定为其他目录，请确定您指定的目录有可写权限 缓存系数:页面缓存功能可以将会员经常访问的主题临时缓存起来，缓解大型论坛服务器压力。缓存阀值范围 0 - 100，建议设置为 40 ，0 为关闭。在磁盘空间允许的情况下，适当调高缓存系数，可以提高缓存效果。
hbase是apache hadoop生态系统中的重要一员，主要用于海量结构化数据存储
前不久，看到了明哥写的如何用Python发送警告通知到企业微信，想起来之前写过用Pytho发送指定格式数据到钉钉的服务，本文将之前的代码重构下，变成一个：利用Python监控服务器数据，然后有异常就通过钉钉发送给用户。
这是一个目前普遍使用的调度算法，算法在WRR的基础上加入了根据服务器端的负载信息周期性地调整服务器性能权值的过程。其基本思想是:根据CPU利用率、内存利用率、磁盘使用情况、连接数、进程数等硬件资源信息综合计算各个服务器的负载值，然后与一个己设定的代表系统利用率的阀值比较，如大于阀值则说明负载较重应调小权值，反之则调大权值。权值的大小决定了该服务器服务请求的能力大小。动态WRR是一种在算法复杂度和效率方面折中的较好算法，研究表明在请求的服务时间长度变化不大的情况下，动态WRR有较高的吞吐率和可伸缩性，包括思科和IBM的商业集群产品采用的也是动态WRR。
通常来说，一个优化良好的 Nginx Linux 服务器可以达到 500,000 – 600,000 次/秒 的请求处理性能，然而我的 Nginx 服务器可以稳定地达到 904,000 次/秒 的处理性能，并且我以此高负载测试超过 12 小时，服务器工作稳定。
IO通常分为几种，BIO（阻塞 Blocking IO）、NIO（非阻塞 Non-Blocking IO）、AIO（异步非阻塞）。 BIO 在JDK1.4出来之前，我们建立网络连接的时候采用BIO模式
本文主要描述Linux Page Cache优化的背景、Page Cache的基本概念、列举之前针对Kafka的 IO 性能瓶颈采取的一些解决方案、如何进行Page Cache相关参数调整以及性能优化前后效果对比。
jvm调优实战笔记之基础知识简介 I. 背景 java后端，提供了一个svg渲染的服务，在qps较大时，会出现频繁的gc，而此时的服务器性能本身并没有达到瓶颈（cpu,load,io都不太高）因此考虑调整一下jvm的相关参数，看是否可以提升服务性能 jvm相关参数记录 -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:CMSMaxAbortablePrecleanTime=5000 -XX:+CMSParalle
性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器，然后使用info命令获取所有与Redis服务相关的信息。通过这些信息来分析文章后面提到的一些性能指标。 info命令输出的
在企业业务信息化之后，企业业务依赖于各种应用系统，应用系统又依赖于各种IT资源。当IT资源出现故障或性能下降时，会导致应用宕机或性能下降，进而影响企业业务产出。资源监控就是对那些可能影响IT资源服务能力的各种技术性能参数进行全面监控，以便提前发现问题隐患并预警，帮助企业将故障消灭于萌芽状态之中。
客户端在插入，删除，查询数据时需要知道哪个Region服务器上存有自己所需的数据，这个查找Region的过程称之为Region定位。
为了快速定位并解决性能问题，这里选择5个关键性的数据指标，它包含了大多数人在使用Redis上会经常碰到的性能问题
作者 | 邓秋爽：云和恩墨技术工程师，有超过七年超大型数据库专业服务经验，擅长 Oracle 数据库优化、SQL 优化和 Troubleshooting。
2018年11月11日上午11点，我拖着疲惫身躯回到家中，准备美美的睡上一觉，洗去身上值班一宿而带来的疲惫。突然想到之前有交代女朋友让她帮我抢东西，不知道怎么样了。
本文对hbase集群进行优化，主要涵盖硬件和操作系统，网络通信，JVM，查询，写入，核心服务，配置参数，zookeeper，表设计等多方面。 我们对hbase的应用主要是用户画像，根据自身使用场景做一些优化。难免有片面之处。 一、软硬件优化： 1. 配置内存，cpu HBase的LSM树结构，缓存机制和日志机制对内存消耗非常大，所以内存越大越好。 其中过滤器，数据压缩，多条件组合扫描等场景都是cpu密集型的，所以cpu也要够强悍 2. 操作系统 选择主流linux发行版，JVM推荐用Sun
在设置jboss的参数中，maxThreads（最大线程数）和acceptCount（最大等待线程数）是两个非常重要的指标，直接影响到程序的QPS。本文讲解jboss连接的运行原理，以及如何设置这两个参数。 最佳线程数： 在做压力测试时，刚开始，随着并发量的增加，QPS也会随之增大，但当并发量超过一个阀值之后，QPS就不会再增大，甚至很多时候还会降低，类似于下图。而这个阀值就是我们所说的最佳线程数，他也是设置jboss时的maxThreads参数时的重要指标。 jboss连接的原理
阅读目录： 性能相关的数据指标 内存使用率 命令处理总数 延迟时间 内存碎片率 回收key 总结 性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器，然后使用info命令获取所
DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝
通常来说，一个优化良好的 Linux 服务器可以达到 500,000 – 600,000 次/秒 的请求处理性能，然而我的 Nginx 服务器可以稳定地达到 904,000 次/秒 的处理性能，并且我以此高负载测试超过 12 小时，服务器工作稳定。 这里需要特别说明的是，本文中所有列出来的配置都是在我的测试环境验证的，而你需要根据你服务器的情况进行配置： 从 EPEL 源安装 Nginx： yum -y install nginx 备份配置文件，然后根据你的需要进行配置： cp /etc/nginx/ngi
摘要： 什么是多级缓存 所谓多级缓存，即在整个系统架构的不同系统层级进行数据缓存，以提升访问效率，这也是应用最广的方案之一。我们应用的整体架构如图1所示： 图1 多级缓存方案 整体流程如上图所示： 1）首先接入Nginx将请求负载均衡到应用Nginx，此处常用的负载均衡算法是轮询或者一致性哈希，轮询可以使服务器的请求更加均衡，而一致性哈希可以提升应用Nginx的缓存命中率，相对于轮询，一致性哈希会存在单机热点问题，一种解决办法是热点直接推送到接入层Nginx，一种办法是设置一个阀值，当超过阀值，改为轮询算法。
最近使用了个自动化平台（详见自动化运维平台Spug测试）进行每周的变更，效果很不错，平台将大量重复繁琐的操作通过脚本分发方式标准化自动化了，平台核心是下发到各个服务器的shell脚本，感觉有必要对shell脚本做个总结，所以有了写本专题的想法。本专题将结合运维实际介绍shell脚本的各项用法，预计10篇左右，将包括系统巡检、监控、ftp上传下载、数据库查询、日志清理、时钟同步、定时任务等，里面会涉及shell常用语法、注意事项、调试排错等。
redis 是一款开源的、高性能的键-值存储（key-value store），和 memcached 类似，redis 常被称作是一款 key-value 内存存储系统或者内存数据库，同时由于它支持丰富的数据结构，又被称为一种数据结构服务器（data structure server）。
Redis持久化过程一直是影响redis性能的常见因素，如何监控持久化以及如何优化持久化过程呢？下面我们就一起来看看吧。
MapReduce最早来源于谷歌公司的一篇学术论文，是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法，当时主要是为了解决其搜索引擎中大规模网页数据的并行化处理。但由于MapReduce可以普遍应用于很多大规模数据的计算问题，因此自发明MapReduce以后，Google公司内部进一步将其广泛应用于很多大规模数据处理问题。到目前为止，Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
