前面我们介绍了HDFS，作为HDFS的第一代上层架构，我们必须讲解一下hadoop的MapReduce结构，可以说这一结构促进了大数据的兴起。
如前一章提到，监控有赖于运维各专业条线协同完善，通过将监控体系进行分层、分类，各专业条线再去有重点的丰富监控指标。
近年来，随着计算机技术的飞速发展，以及行业信息的共享,传统企业的运维己不再是固步自封，日新月异的计算技术的发展推动企业云平台的建设，云平台的计算能力为大数据分析提供了基础、云平台与大数据分析又将推动运维人工智能的发展。放眼云、大数据、人工智能的运维发展方向的同时，作为运维的生命线，安全生产保障的生命线仍需强调。作为传统企业的安全生产保障，主要以“监”、“管”、“控”为核心，其中“监”则主要指的的监控。
我们都知道，我们每执行一次 SQL，数据库除了会返回执行结果以外，还会返回 SQL 执行耗时，以 MySQL 数据库为例，当我们开启了慢 SQL 监控开关后，默认配置下，当 SQL 的执行时长大于 10 秒，会被记录到慢 SQL 的日志文件中。
10. HashMap 和 Concurrentmap 区别10. HashMap 和 Concurrentmap 区别
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wanglei_storage/article/details/51076882
这是一个目前普遍使用的调度算法，算法在WRR的基础上加入了根据服务器端的负载信息周期性地调整服务器性能权值的过程。其基本思想是:根据CPU利用率、内存利用率、磁盘使用情况、连接数、进程数等硬件资源信息综合计算各个服务器的负载值，然后与一个己设定的代表系统利用率的阀值比较，如大于阀值则说明负载较重应调小权值，反之则调大权值。权值的大小决定了该服务器服务请求的能力大小。动态WRR是一种在算法复杂度和效率方面折中的较好算法，研究表明在请求的服务时间长度变化不大的情况下，动态WRR有较高的吞吐率和可伸缩性，包括思科和IBM的商业集群产品采用的也是动态WRR。
环境：两台联想R680的物理机搭建一套2节点RAC，数据库版本为ORACLE 11.2.0.4
前不久，看到了明哥写的如何用Python发送警告通知到企业微信，想起来之前写过用Pytho发送指定格式数据到钉钉的服务，本文将之前的代码重构下，变成一个：利用Python监控服务器数据，然后有异常就通过钉钉发送给用户。
2018年11月11日上午11点，我拖着疲惫身躯回到家中，准备美美的睡上一觉，洗去身上值班一宿而带来的疲惫。突然想到之前有交代女朋友让她帮我抢东西，不知道怎么样了。
MapReduce最早来源于谷歌公司的一篇学术论文，是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法，当时主要是为了解决其搜索引擎中大规模网页数据的并行化处理。但由于MapReduce可以普遍应用于很多大规模数据的计算问题，因此自发明MapReduce以后，Google公司内部进一步将其广泛应用于很多大规模数据处理问题。到目前为止，Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。
来源：https://www.tuicool.com/articles/JzQvUb 秒杀系统涉及到的知识点 高并发，cache，锁机制 基于缓存架构redis,Memcached的先进先出队列。 稍
比如有10件商品要秒杀，可以放到缓存中，读写时不要加锁。 当并发量大的时候，可能有25个人秒杀成功，这样后面的就可以直接抛秒杀结束的静态页面。进去的25个人中有15个人是不可能获得商品的。所以可以根据进入的先后顺序只能前10个人购买成功。后面15个人就抛商品已秒杀完。
在设置jboss的参数中，maxThreads（最大线程数）和acceptCount（最大等待线程数）是两个非常重要的指标，直接影响到程序的QPS。本文讲解jboss连接的运行原理，以及如何设置这两个参数。 最佳线程数： 在做压力测试时，刚开始，随着并发量的增加，QPS也会随之增大，但当并发量超过一个阀值之后，QPS就不会再增大，甚至很多时候还会降低，类似于下图。而这个阀值就是我们所说的最佳线程数，他也是设置jboss时的maxThreads参数时的重要指标。 jboss连接的原理
公司某业务使用的Redis集群是自建的，前段时间计划将自建Redis集群迁移到购买的阿里云集群。 老集群共有 350W key，占用内存 8.8 G，DTS迁移前分析发现有近两百万的key无需迁移，于是提前删除了这两百万key。 删除key后发现redis内存竟然几乎无变化，350W key删除了两百万，怎么也得释放几G内存吧。难道删除失败了？通过比对数据发现，计划被删除的数据确实已经删除了。 为什么删除了两百万key，内存未释放呢？这个问题一直困扰着我，通过查阅资料终于弄明白了。
每个模块工作职责： 1、Zabbix Server：Zabbix Server为核心组件，用来获取agent存活状况及监控数据。所有的配置、统计、操作数据均通过Server进行存取到database； 2、Database Storage：用户存储所有配置信息，以及存储由Zabbix Server收集到的数据； 3、Web Interface：Zabbix的GUI接口，通常与Server运行在同一台主机上； 注意：如果采用SQLite作为数据库，web接口和Zabbix Server必须运行在同一台主机上 4、Zabbix Proxy：常用于分布监控环境中，代理Server收集部分被监控的监控数据并统一发往Server端；（通常大于500台主机需要使用） 5、Zabbix Agent：部署在被监控主机上，负责收集本地数据发往Server端或Proxy端； 二、具体工作原理：
作者 | 邓秋爽：云和恩墨技术工程师，有超过七年超大型数据库专业服务经验，擅长 Oracle 数据库优化、SQL 优化和 Troubleshooting。
平均数：一系列数字的算术平均值。 中位数：是一组数据的中间值；比如1,2,2,2,3,9————算术平均数为3.17，中位数为2。
BeeAPM是一个分布式跟踪和应用性能监控系统。该系统应用JavaAgent技术，使用bytebuddy（基于ASM的框架）进行字节码植入，从而对java应用程序进行相关数据采集和性能监控， 对应用无侵入。
很多人提到云计算，一定会说到云计算具备自动伸缩能力，会按照客户的业务负载自动伸缩，我在刚接触云计算时也这么认真。真是这样吗？没这么简单！
QPS 是一台服务器每秒能够相应的查询次数，即1秒内完成的请求数量，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准
在进行业务开发时,可能经常需要根据累计的样本数据，进行判断；并根据判断的结果进行相关的处理。
所谓“监控”，即包括“监”+“控”，即应该具备对运维数字世界的运行情况进行感知、决策、应急处置的能力，是业务连续性保障能力的基础。因为要感知，所以监控需要具备实时的数据采集能力，而监控采集的性能、容量、运营等数据又为智能运维提供数据资产。由于生产系统运行涉及面极广，监控工具很多，企业很自然的会有合而为一的决策，像集中监控就是一个常见的项目。但是，需要关注的是，一方面市场上成熟的监控系统很多，不同层面的监控工具关注点又各不一样，通常很难选择一个包罗所有能力的监控系统；另一方面企业里的监控系统经过一段时间沉淀，原有监控系统最大的价值已经不是监控系统本身，而是上面的监控配置项，事实上很多技术架构及功能并不优秀的监控系统很难替换的原因就在于此。所以，本文讲的集中监控不是讲一个监控系统，而站在运维组织角度看监控体系。
Redis 是内存数据库，如果不将内存中的数据保存到磁盘，进程退出的时候内存中的数据也会被清除。为了解决该问题，Redis 持久化有两种方式，分别是RDB和AOF。下面会比较详细介绍这两种持久化方式。
马哥linux运维 | 最专业的linux培训机构 ---- 最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。 虽然天天都在用Linux系统办公，其实对它的了解也不过尔尔。毕业几年才迈入"知道自己不知道"的境界，我觉得自己丝毫没有愧对万年吊车尾这个称号 :( 问题描述和初步调查 同事说有一台服务器的内存用光了，我连上去用free看了下，确实有点怪。 $ fr
分布式系统都存在这样一个问题，由于网络的不稳定性，决定了任何一个服务的可用性都不是 100% 的。当网络不稳定的时候，作为服务的提供者，自身可能会被拖死，导致服务调用者阻塞，最终可能引发雪崩连锁效应。
负载测试（Load Testing）：负载测试是一种主要为了测试软件系统是否达到需求文档设计的目标，譬如软件在一定时期内，最大支持多少并发用户数，软件请求出错率等，测试的主要是软件系统的性能。
作为运维者，第一个接触的基本上是监控平台，各种各样的监控，看各种各样的指标，好像没有监控就觉得不正常，那么为什么需要监控呢？
1. RabbitMQ 持久化机制 ---- RabbitMQ 的持久化分为队列持久化、消息持久化和交换器持久化。 不管是持久化的消息还是非持久化的消息都可以被写入到磁盘。区别在于重启之后数据还在
答：is是同一性运算符，是判断两个对象的id地址是否相同，是否指向同一块区域；==是比较操作符，用来判断两个对象的数据类型和值是否相同。
性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器，然后使用info命令获取所有与Redis服务相关的信息。通过这些信息来分析文章后面提到的一些性能指标。 info命令输出的
为了快速定位并解决性能问题，这里选择5个关键性的数据指标，它包含了大多数人在使用Redis上会经常碰到的性能问题
一、ZooKeeper简介 ZooKeeper作为分布式系统中重要的组件，目前在业界使用越来越广泛，ZooKeeper的使用场景非常多，以下是几种典型的应用场景： l 数据发布与订阅(配置中心) l 负载均衡 l 命名服务(Naming Service) l 分布式通知/协调 l 集群管理与Master选举 l 分布式锁 zk环境搭建 这里不详细说明，提供详细blog说明。 Zookeeper集群搭建：https://cloud.tencent.com/developer/article/1021111 Z
1> 数据采集: 可用性和性能检测，自动发现，支持agent，snmp,JMX,telnet等多种采集方式，支持主动和被动数据传输、支持用户自定义插件，自定义间隔收集数据.
序言 吹吹牛逼先，借我你的20分钟，保证你在.net中使用memcached缓存数据，畅通无阻，提升数据读取效率，分担数据库压力，便不在话下。 本篇主要说下：memcached分布式缓存的负载均衡配置比例，数据压缩，socket的详细配置等，以及在.net中的常用方法。 memcached是什么，做什么的，为什么要使用它，本篇不做介绍，建议百度百科，我看拉下，那里比我还能吹牛逼，哈哈，上料。 memcached在windows下的下载与安装 下载地址：http://pan.baidu.com/s/1yVIL
Guest账户为黑客入侵打开了方便之门，黑客使用Guest账户可以进行提权。禁用Guest账户是最好的选择。操作流程：进入“控制面板->管理工具->计算机管理->本地用户和组->用户->Guest”“账户已禁用”打勾启用加固后：
最近一台 CentOS 服务器，发现内存无端损失了许多，free 和 ps 统计的结果相差十几个G，非常奇怪，后来Google了许久才搞明白。
缓存论坛首页有效期:设置论坛首页缓存更新的时间，单位为秒，0 为关闭(关闭以后，缓存系数将不再起作用)，建议设置为 900。此功能只针对游客 缓存帖子有效期:设置帖子页面缓存更新的时间，单位为秒，0 为关闭。请根据实际情况进行调整，建议设置为 900。 缓存目录:默认为 data/threadcache 目录，如果您需要将其指定为其他目录，请确定您指定的目录有可写权限 缓存系数:页面缓存功能可以将会员经常访问的主题临时缓存起来，缓解大型论坛服务器压力。缓存阀值范围 0 - 100，建议设置为 40 ，0 为关闭。在磁盘空间允许的情况下，适当调高缓存系数，可以提高缓存效果。
系统性能是互联网应用最核心的非功能性架构目标，系统因为高并发访问引起的首要问题就是性能的问题，高并发访问的情况下，系统因为资源不足，处理每个请求的时间都会变慢，看起来就是性能的变差。
hbase是apache hadoop生态系统中的重要一员，主要用于海量结构化数据存储
属性值作为数据，保存在数据区heap 中，包括属性的类型Classtype和对象本身的类型
本文转载java知音
内存分析需要使用的计数器：Memory类别和Physical Disk类别的计数器。内存分析的主要方法和步骤：
阅读目录： 性能相关的数据指标 内存使用率 命令处理总数 延迟时间 内存碎片率 回收key 总结 性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器，然后使用info命令获取所
ORACLE数据库系统是美国ORACLE公司（甲骨文）提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。Oracle旗下的Oracle数据库监控软件是企事业单位中最重要的监控需要，通过对Oracle数据库的监控，可以全面了解Oracle的运行状态、数据库响应情况、数据库表空用度情况，从而方便Oracle数据库性能优化。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
