// MongoDB运维与开发(7)---MongoDB监控 // MongoDB中自带两个监控的工具，分别是mongostat和mongotop，今天我们看看这两个工具的使用方法。...mongotop这个命令只运行一次，如果想每间隔一段时间，就运行一次，则可以使用： mongotop 30 这样的写法，可以让mongotop命令每30s运行一次，这样可以持续的检测mongodb的运行状态...db.serverStatus() 这条命令会列出MongoDB的整体情况，包含主机名字、版本、进程、连续运行时间、连接状态以及操作状态。...因为它显示的结果比较长，这里我们只说说常用的几个信息： host：主机名字 version：MongoDB版本 process：PID进程号 uptime：主机的运行时间 asserts：MongoDB...启动后报警的统计数量 connections：MongoDB的连接统计信息 network：MongoDB的网路情况 storageEngine：存储引擎信息 mem：当前使用的内存信息 db.stats
运维与监控 Hive配置 配置方式 Hive可以通过三种方式进行参数配置，但它们的作用范围不同。
前面的文章介绍了MongoDB副本集和分片集群的做法，下面对MongoDB集群的日常维护操作进行小总结： MongDB副本集故障转移功能得益于它的选举机制。...1）MongoDB集群的节点数量 官方推荐MongoDB副本集的成员数量最好为奇数，且选举要求参与的节点数量必须大于成员数的一半。...2）MongoDB心跳 整个MongoDB集群需要保持一定的通信才能知道哪些节点活着哪些节点挂掉。...primary 4).db.serverStatus() 可以使用如下命令查找需要用到的信息 db.serverStatus.opcounterRepl db.serverStatus.repl 5).常用监控项目...复制集常用监控工具 1） mongostat -h, --host 主机名或 主机名：端口 --port 端口号 -u ,--uername 用户名（验证） -p ,--password
// MongoDB运维与开发(二) // 今天的内容接着昨天的来看，昨天我们说了MongoDB的部署、数据存储方式以及简单的用户创建，今天我们来看MongoDB的其他一些特点 ?...NO.1 MongoDB的常用数据类型 MongoDB中的文档类似json，我们知道，在json中，最常用的数据类型有null、bool、数组、字符串、数据、json对象等等。...相对比较少，比如对于时间类型的数据，json是无法表示的，而MongoDB中对json进行了简单的优化，像json，但是又不是json。...下面我们慢慢说 MongoDB的常用数据类型和MySQL比较像，你可以对比着看。...4、字符串 最常用的数据类型 {"x":"string"} 5、对象id 对象id是12字节的唯一ID {"x":ObjectId()} 在MongoDB的数据记录里面，也就是文档里面，必须有一个_id
一、MongoDB 集群简介 MongoDB是一个基于分布式文件存储的数据库，其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。...说明：通过此命令，可以查看操作数量、内存使用状况、网络io等 db.runCommand( { serverStatus: 1 } )； 3、检查复制集成员状态 rs.status()； 三、基本的运维操作...shard上， 这时候MongoDB会不断报错最后导致MongoDB倒掉。...通过profile来监控数据：进行优化查看当前是否开启profile功能 用命令db.getProfilingLevel() 返回level等级，值为0|1|2，分别代表意思：0代表关闭，1代表记录慢命令...db.setProfilingLevel(level,slowms)如db.setProfilingLevel(1,50)这样就更改为50毫秒通过db.system.profile.find() 查看当前的监控日志
SQL标准错误码 二、例行系统运维任务 1. 例行vacuum与analyze 2. 例行重建索引 3. 管理GP数据库日志文件 三、推荐的监控与运维任务 1. 监控数据状态 2....数据库警告日志监控 3. 硬件和操作系统监控 4. 系统目录（元数据表）监控 5. 数据维护 6. 数据库维护 7. 补丁与升级 四、性能问题排查指南 一、监控 1....SQL标准错误码 二、例行系统运维任务 1. 例行vacuum与analyze （1）每天在每个数据库执行，释放过期行所占空间，同时释放事务号防止XID回卷失败。 #!...-delete' （2）命令行工具程序日志文件 gpssh -f all_host -e 'find ~/gpAdminLogs -mtime +10 -type f -delete' 三、推荐的监控与运维任务...监控数据状态 （1）列出下线的segment，5-10分钟执行一次，返回行则报警。
MongoDB运维与开发(三) 今天来看MongoDB的用户相关的内容，用户、权限，这块儿的内容还是比较多的。...慢慢来看 NO.1 MongoDB用户初始化 在我们第一次启动MongoDB的时候，仅仅是制定了data数据目录和log日志目录，并没有指定--auth选项，也就是并不需要认证。...[root@VM-0-14-centos mongo_27017]# mongo MongoDB shell version v4.0.6 connecting to: mongodb://127.0.0.1...，我们重启MongoDB服务，在配置文件中打开--auth参数，或者直接在命令行里面指定auth参数，重新登陆： [root@VM-0-14-centos mongo_27017]# mongo MongoDB...shell version v4.0.6 connecting to: mongodb://127.0.0.1:27017/?
// MongoDB运维与开发(一) // 工作方向上的原因，不得不接触部分MongoDB的运维工作，之前有接触过一些MongoDB的内容，基本的运维操作没有什么问题，包括MongoDB的集群搭建...但是时间久了，很多东西不用就忘记了，最近准备出一个系列的MongoDB的运维操作文章，希望把这块儿内容重新拾起来。...网上查了查，MongDB讲得好的书也就是这本了，但是它引用的MongoDB版本比较旧，所以最好结合着官方文档看，这样收获会更快。...NO.1 Linux下MongoDB的安装 Linux下MongoDB的安装还算简单，总体可以分为如下几步： 1、去官网www.mongodb.org 上下载对应版本的二进制包，例如mongodb-linux-x86...--port=27018 MongoDB shell version v4.0.6 connecting to: mongodb://127.0.0.1:27018/?
// MongoDB运维与开发（六）---MongoDB集群(5) // 关于MongoDB的集群运维，之前的文章已经说了很多内容了，这块儿知识点比较多，由于是每天抽空写文章，所以每天能说到的点有限...到这里，大家对MongoDB的分片应该有了如下认识： 1、分片是自动的 2、分片不是绝对均匀的 后续的文章，我们会说明分片受哪些因素的影响。 今天就到这里吧。
// MongoDB运维与开发(9)---readConcern // readConcern产生背景： MongoDB的写请求写入Primary， secondary从Primary自动获取并且应用...oplog来保持和主库的同步， MongoDB 允许用户从Primary 或者 secondary 读取数据。...MongoDB在3.6版本中引入了readConcern这个参数，readConcern决定在读取数据的时候，到底能够读取到哪个版本的数据。...3、majority：查询结果返回被副本集的大多数成员确认的数据，读操作返回的文档是持久化的 要想使用majority这个模式的readConcern，MongoDB必须使用wireTiger存储引擎。...writeConcernMajorityJournalDefault设置为默认状态true，则读取操作返回的文档是持久的； 如果将writeConcernMajorityJournalDefault设置为false时，在确认写入之前，MongoDB
运维如果想做自动化高效化，则少不了搭建监控系统。目前市面上已经有大量成熟、开源的监控平台可供挑选。但如果想实现一个监控系统，或了解监控系统的原理，则可参见本文。 1....常见运维监控系统划分 常见运维监控系统可按有/无Agent，使用Pull/Push获取数据进行简单划分。 [sqpnqlpbyh.png?...1653211974;1653219174&q-header-list=&q-url-param-list=&q-signature=d51905653a0478da0a65dccde678977b7d0c3bc7] 监控实际上发生在监控主机和被监控主机的进程之间...相信运维/开发对此协议都很熟悉，用于监控时，它可以直接输入系统命令从而获得监控数据输出。优点是一次就能获取大量的信息，缺点是交互不好控制和获取到的输出往往需要清洗处理。SSH示例如下。...小结 运维监控系统可按“有/无agent”、“使用pull/push获取数据”划分成6类。 Agent实际是一个轻量程序，用于提供系统无法直接提供的数据。
下面通过熟悉MongoDB的基本管理命令，来了解MongoDB提供的DBMS的基本功能和行为。...0）MongoDB的安装 [root@centos6-vm01 ~]# curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6...命令帮助系统 在安装MongoDB后，启动服务器进程（mongod），可以通过在客户端命令mongo实现对MongoDB的管理和监控。...to the MongoDB shell....另一个比较基础的是对指定数据库的集合进行操作、管理和监控，可以通过查询db.mycoll.help()获取到： > db.mycoll.help() DBCollection help db.mycoll.find
// MongoDB运维与开发(10)---chunk // MongoDB中，在使用到分片的时候，常常会用到chunk的概念，chunk是指一个集合数据中的子集，也可以简单理解成一个数据块，每个...在MongoDB中，chunk的默认大小是64MB，可以增加或者减少chunk的大小。...chunk的迁移 在分片+复制集的架构中，当某个服务器上的数据记录不停的增多，它上面分割的chunk就会变多，当集群中每个服务器上的chunk数量严重失衡的时候，mongodb会自动进行chunk...MongoDB自动触发迁移的阈值表如下： chunk数量： <20，迁移阈值：2 chunk数量：20~79，迁移阈值：4 chunk数量： >80，迁移阈值：8 chunk的迁移一般使用锁来实现...，从MongoDB3.4版本起，chunk的迁移分为7个步骤： 1、balancer进程将moveChunk的命令发送到源shard中 2、源shard使用内部moveChunk命令开始移动，迁移过程中
// MongoDB运维与开发(8)---MongoDB备份与恢复 // 任何数据库都离不开日常的备份与恢复，这二者是数据库安全的前提，MongoDB的备份与恢复方法一般而言都采用自带的工具来进行...来看备份工具： 1 Mongodump工具 在MongoDB中，mongodump工具通常用来做备份使用。...在MongoDB中，Mongorestore这个工具是用来做数据恢复的，数据恢复命令的常用参数如下： 与mongodump重复的部分不再赘述 -p，--port -h，--host -d，--db -c...所以，物理复制必须在MongoDB实例停机状态或者锁定状态下进行。一般来讲，在MongoDB集群中，我们会使用锁定从库的办法来进行备份。...在MongoDB中，可以在从库上进行锁定或者停止实例的备份操作，不建议在线上环境使用MongoDB单库，因为这种情况，备份恢复将会成为一个瓶颈问题。
一、前言 上篇我们介绍如何通过Prometheus + Grafana +node explorer来监控linux，本文介绍一下如何通过Prometheus + Grafana +mysqld explorer...来监控mysql 二、安装mysqld explorer 1、下载mysqld explorer安装包并解压 wget https://github.com/prometheus/mysqld_exporter...tar -zvxf mysqld_exporter-0.11.0.linux-amd64.tar.gz mv mysqld_exporter-0.11.0.linux-amd64 mysqld 2、在想监控的数据库中
一、前言 本文主要介绍如何使用prometheus + grafana+node_exporter 监控 Linux，在介绍如何监控之前，先简要介绍一下grafana和grafana的安装 二、什么是
📷 README.md #效果一 📷 #效果二 ---- 📷 #效果三 📷 传送门： https://github.com/x931890193/-EOMS
来源：python运维技术 ID：python运维技术 在小型公司里如果产品线单一的话，比如就一个app, 一般1~2个运维就够用了，如果产品过于庞大，就需要多个运维人员，但对于多产品线的公司来说，...运维人员就要必须分多个人负责，因为超过200个站点让1个人维护，那工作量是巨大的，就单单给开发的沟通时间，估计就要占用一整天时间了，目前我所在的公司站点非常多，为管理方便，之前我们这里是实行过一段叫站长制的方式...，就是不同人承担不同的项目维护，每个人就是自己所负责项目的站长，这个站长制实行完后，就有个监控问题，之前只要站点有问题，是每个人都可以收到，但为了防止报警泛滥，所以就需要把监控改成故障站点只发给负责该站点的站长...，有了这个背景，我们今天就来实现这个需求，脚本基本实现首先要有一个能够报警的函数，还需要一个检查站点是否故障的函数，最后一个函数是如果站点恢复后，要重新加入要监控的列表中，到这基本差不多了，但如果站点太多...'Site Currently down - email sent' 这个函数就是从临时字典中取出第一次检查出有问题的站点，15分钟后再次检查，如果返回200，就发送邮件，并从临时字典中移除，重新加入监控列表中
// MongoDB运维与开发(五)---角色管理 // 之前的两篇文章，我们已经讲清楚了MongoDB的用户权限管理，接下来的文章我们来看MongoDB的角色管理。 ?...NO.1 MongoDB内建角色 内建角色的种类和特点？ 想要了解内建角色，还是少不了下面这张图，在MongoDB中，用户的权限是通过角色绑定的方法来分配的。...MongoDB 4.0中的内建角色类型如下： ?...clusterManager：提供对集群进行管理和监控的权限 clusterMonitor：提供对监控工具的只读访问权限 hostManager：提供监控和管理服务器的权限 clusterAdmin：提供最高的集群管理访问权限...[root@VM-0-14-centos ~]# mongo MongoDB shell version v4.0.6 connecting to: mongodb://127.0.0.1:27017/
下面通过熟悉MongoDB的基本管理命令，来了解MongoDB提供的DBMS的基本功能和行为。...0）MongoDB的安装 [root@CentOS6-vm01 ~]# curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6...命令帮助系统 在安装MongoDB后，启动服务器进程（mongod），可以通过在客户端命令mongo实现对MongoDB的管理和监控。...另一个比较基础的是对指定数据库的集合进行操作、管理和监控，可以通过查询db.mycoll.help()获取到： db.mycoll.help() DBCollection help db.mycoll.find...", "pubdate" : "2018-08-20", "title" : "MongoDB日常运维操作命令集锦", "url" : "https://www.linuxidc.com/Linux
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
