zabbix的原始数据库是create.sql.gz，可以使用gzip -d 解压此文件，在导入数据库，也可以使用zcat命令。
本文将介绍canal项目中client-adapter的使用，以及落地生产中需要考虑的可靠性、高可用与监控报警。（基于canal 1.1.4版本）
①原子性：redis原子性是指将多个操作打包在一起，要么全都执行，要么全都不执行。注意：这里跟MySQL事务中的原子性相比，redis原子性不管这些操作有没有成功，它不管！如果事务中有些操作失败了，redis说失败就失败吧。而MySQL则不行，一旦有操作失败，则全部回滚！（有部分观点任务，redis没有原子性，因为以MySQL事务的原子性作为标杆，原子性必须要么执行成功，要么不执行）
随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。
控制台链接：https://console.tencentcloud.com/trocketmq
架构设计中最重要的两个文档的模板和关键说明。这个案例文档仅给出一些关键内容供你参考，部分细节无法全面覆盖或者完全保证正确。(斜体字是示例)
【背景】由于公司业务平台的网络环境苛刻，以Zabbix server为核心开发设计一套适应性强的监控运维境更强的方案，不仅能满足当下的需求还能方便后续扩展。写这篇文档的初衷希望遇到类似环境的同学有一个参考，在碰到严格、复杂的网络环境，数量庞大机器管理，如何能够利用 Zabbix 的特性做到深度监控。
InfluxDB 1.x 否 事件数据默认存储MySQL，支持存储到InfluxDB,如有使用InfluxDB需求则必须需要部署
本文转载java知音
巡检的工作其实是比较枯燥和乏味的，在某种程度上，他的工作和监控是有很多交集的，其实在很多公司里面，巡检方向的落地情况其实不容乐观，采用脚本和被动触发的方式效率不高，同时巡检中发现的潜在业务问题和业务部门是隔离的，也就是你在做的事情，业务部门不知道，自然就没法给予充分理解了，所以在问题的处理效率和响应上会是一个黑盒的状态，我觉得这也就是运维方向比较苦逼的一个原因。
由于这个应用出问题非常影响用户体验；于是立马让运维保留现场 dump 线程和内存同时重启应用，还好重启之后恢复正常。于是开始着手排查问题。
上午刚到公司，准备开始一天的摸鱼之旅时突然收到了一封监控中心的邮件。 心中暗道不好，因为监控系统从来不会告诉我应用完美无 bug，其实系统挺猥琐。 打开邮件一看，果然告知我有一个应用的线程池队列达到阈值触发了报警。 由于这个应用出问题非常影响用户体验；于是立马让运维保留现场 dump 线程和内存同时重启应用，还好重启之后恢复正常。于是开始着手排查问题。
为了让一个复制组正常使用消息分段功能，所有组成员必须运行MySQL 8.0.16或以上版本，并且组使用的组复制通信协议版本必须支持消息分段。可以使用group_replication_get_communication_protocol() UDF检查组使用的通信协议版本是多少，UDF 返回版本号字符串代表了组支持的最老的MySQL Server版本。MySQL 5.7.14的版本支持压缩消息，MySQL 8.0.16的版本支持消息分段。如果所有组成员都运行在MySQL 8.0.16以上版本，并且组中不需要运行更低版本的组成员，则可以使用group_replication_set_communication_protocol UDF()来设置通信协议版本为MySQL 8.0.16及其以上，这样就能够确保消息分段功能在组中所有成员上正常运行。有关更多信息，请参见"4.1.4. 设置组的通信协议版本”。
新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后台系统支撑。
先前介绍了ElasticSearch，以及ES配合MySQL的问题，这种方案是让ES上的数据根据MySQL的数据做对照从而形成对应的索引，再将数据通过处理和封装存放在ES当中。（可回顾：技术分析 | 浅析MySQL与ElasticSearch的组合使用）回到生产环境，我们如何保证MySQL中与ES对照的数据发生更新的时候ES也进行更新呢？就以ES为例。
Redis事物操作 Redis 事务可以一次执行多个命令， 并且带有以下三个重要的保证： 批量操作在发送 EXEC 命令前被放入队列缓存。 收到 EXEC 命令后进入事务执行，事务中任意命令执行失败，其余的命令依然被执行。 在事务执行过程，其他客户端提交的命令请求不会插入到事务执行命令序列中。 一个事务从开始到执行会经历以下三个阶段： 开始事物->命令入队->执行事务|取消事物 单个 Redis 命令的执行是原子性的，但 Redis 没有在事务上增加任何维持原子性的机制，所以 Redis 事务的执行并不是原
MGR和传统主从复制类似，在运行过程中主要关注各节点的运行状态，以及Secondary节点的事务是否有延迟。本文介绍如何监控MGR节点状态、事务状态等。
当今时代处在信息大爆发的时代，信息借助互联网的潮流在全球自由的流动，产生了各式各样的平台系统和软件系统，越来越多的业务也会导致系统的复杂性。
序言 新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后台系统支撑。 微博平台第一代架构为LAMP架构，数据库使用的是MyIsam，后台用的是php，缓存为Memcache。 随着应用规模的增长，衍生出的第二代架构对业务功能进行了模块化、服务化和组件化，后台系统从php替换为Java，逐渐形成SOA架构，在很长一段时间支撑了微博平台的业务发展。 在此
见识了智能合约以及以太坊的工作方式，现在我们就尝试将它部署到两种测试网络里面。
导读：滴滴开源又双叒发布新开源项目啦——夜莺（Nightingale）是滴滴基础平台联合滴滴云研发和开源的企业级监控解决方案。旨在满足云原生时代企业级的监控需求。一起来了解项目详情吧。
最近在维护公司线上的服务器，排查了一些问题，所以做一个总结。有一段时间，线上环境变得很卡，客户端请求很多都报超时，因为线上没有良好的apm监控，所以只能通过流量高峰期和日志去排查问题。通过排查，发现数据库的慢查询日志在比之间的暴涨了十倍，然后发现，memcache服务器（8核）负载很高，cpu一直在50%的左右，原因就是memcache服务器内存用完，导致内存的淘汰十分频繁，这样就导致很多请求落到数据库。下面说下主要的排查思路和用到的工具
本文源自 公-众-号 IT老哥 的分享 IT老哥，一个在大厂做高级Java开发的程序员，每天分享技术干货文章 一、Java性能权威指南 第1章 导论 第2章 性能测试方法 第3章 Java性能调优
需要用到ngx_http_stub_status_module模块，提供对基本状态信息的访问默认情况下不构建此模块，应使用—with-http_stub_status_module 配置参数启用它 。 修改nginx配置文件，在server下添加 vim /etc/nginx/conf.d/zabbix.conf
“产品使用攻略”、“上云技术实践” 有奖征集啦～ 图片案例名称案例简介使用流计算 Oceanus 和 ES 构建日志分析系统介绍从 mysql 数据库采集数据到流计算服务 Oceanus 进行分析，最后输出到 ElasticSearch 服务的实践。可作为日志搜索场景解决方案使用。使用 MySQL 关联 HBase 维表数据到 ClickHouse介绍结合 MySQL 数据库、流计算 Oceanus、HBase 以及云数据仓库 ClickHouse 来构建实时数仓，并通过流计算 Oceanus 读取 MyS
1、概述 在不用爬虫框架的情况，经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似MySQL、HBase等。 基于面向接口的编码思想来开发，因此这个系统具有一定的扩展性，
MQ（Message Queue）消息积压问题指的是在消息队列中累积了大量未处理的消息，导致消息队列中的消息积压严重，超出系统处理能力，影响系统性能和稳定性的现象。
scrapy 自带的重试中间件只支持请求重试，解析函数内异常或者数据入库异常不会重试，但爬虫在请求数据时，往往会有一些意想不到的页面返回来，若我们解析异常了，这条任务岂不是丢了。
【导语】 微博拥有超过3.76亿月活用户，是当前社会热点事件传播的主要平台。而热点事件往往具有不可预测性和突发性，较短时间内可能带来流量的翻倍增长，甚至更大。如何快速应对突发流量的冲击，确保线上服务的稳定性，对于提供全微博数据托管的服务部门数据库团队来说既是机遇又是挑战。本文尝试从一线DBA的视角管窥微博热点事件背后的数据库运维应对之道。 背景&挑战 背景 正是图1这条微博动态，让一个平常的国庆假期变得不同寻常，微博刚一发出就引爆网络，它将明星CP动态推向了舆论的高潮，并霸占微博热搜榜好几天，也正是因为这
1 设计你认为合理的架构，用visio把架构图画出来 2所有服务器要求只能普通用户登录，而且只能密钥登录，root只能普通用户sudo 8 给所有服务器做一个简单的命令审计功能
Zabbix proxy是整个Zabbix架构的主要组件。因此很多时候，当其中一个proxy出现故障，会对所有监控配置造成严重的后果，引起一连串事件与问题。
昨晚把美拍架构负责人洪小军在Qcon上的『九个月实现破亿用户的可扩展架构』分享看了一遍（其实那场QCon我也在现场，但是当时小军这个会场实在太多人了，而且当时北京还没开空调又热又闷，所以我就挑了个凉快的会场去听了哈哈），感觉有不少值得学习的地方，在这里记录一下，强烈建议大家把视频从头到尾看一遍，不要只看ppt。尤其是身在创业公司且公司业务发展速度比较快的同学。 总的一个中心思想是在不同阶段选择最适合自己的方案。这句话说起来简单，但是背后的各种辛酸泪以及血的教训只有亲历者才能理解了。下面我们从各个角度分别来看
在监控Galera之前我们可能已经监控了其他MySQL的变量，Galera也提供了一些状态变量供查看
如何衡量Zabbix的性能情况？一台基础配置的Zabbix到底能监控多少主机，能使用监控多少监控项？性能瓶颈出在哪里？如何优化配置？
介绍了如何安装、配置、及使用，本文介绍如何如何部署一个健壮的 apache-airflow 调度系统 - 集群部署。
欢迎回看本文原始视频 http://t.cn/RjSC0KQ 本篇为Uber系列技术文章第一篇 今天我们解读的是Uber公司的Curis所分享的Uber架构从0到1，这是Uber非常早期的视频分享，我们之后会逐渐讲从1到万，以及更进一步各种RingPop的架构。 首先谈到Uber的初心，他们想实现一键打车功能。左边是Uber最早期的界面，大家可以看到跟现在有很大的区别，按一下就可以打到车了。 Uber的最初架构 为了支持这样的服务，Uber最初的架构是怎么样的呢？会很复杂吗？其实不会。 前面是一
一、Mysql Group Replication简介 Mysql Group Replication(MGR)是一个全新的高可用和高扩展的MySQL集群服务。 高一致性，基于原生复制及paxos协议的组复制技术，以插件方式提供一致数据安全保证； 高容错性，大多数服务正常就可继续工作，自动不同节点检测资源征用冲突，按顺序优先处理，内置自动防脑裂机制； 高扩展性，自动添加移除节点，并更新组信息； 高灵活性，单主模式和多主模式。单主模式自动选主，所有更新操作在主进行；多主模式，所有server同时更新。 pa
a. 初化一个限定容量的阻塞队列 b. 采集器抓取数据并上传至队列，超出容量直接丢弃 c. 线程池分配上传线程 d. 控制器取出指定数量数据，如果数量小于0线程阻塞。e. 调用上传服务，根据策略选择具体(http、logger、jms)服务进行发送
公有云，私有云（OpenStack/cloudstack + KVM/XEN，oVirt), 混合云 服务监控 配置管理
DMServer Framework 主要属性： 四个模块部署在不同服务器，双层部分考虑主备和分布式部署。 架构可依据具体前端需求进行裁剪，灵活配置。 gate用于业务框架分布式部署，在业务量可控范围可取消，做集中控制。 所有除gate服务均挂载在MQ上，需要做集群的服务以MQ队列名称做为集群名称，一个集群提供一个MQ队列，无集群默认提供一个MQ队列。集群上的节点以竞争方式消费队列数据。 对app只开放gate和proxy，gate以短连接形式获取proxy地址，proxy为长连接。 Maintain需要
Linux中的sar命令是系统运行状态的统计命令，他讲指定的操作系统状态显示到标准的输出设备中，它的全称是system activity reporter，它可以从多个方面对系统的活动进行报告，包括但不限于：系统磁盘的io状况，cpu当前的效率值，内存使用的情况，进程活动以及文件读写情况等。
摘要：小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。
Lepus数据库监控系统是简洁、直观、强大的开源数据库监控产品，支持MySQL/Oracle/PostgreSQL/GreatSQL/MongoDB/Redis一站式性能监控，让数据库监控更加简单和专业。
Canal 1.1.4 版本引入了 Canal Admin，提供了统一管理 Canal Server 的 WebUI 界面。Canal Admin 的核心概念主要有：
像网关、应用服务器这类无状态的，多副本比较好做，但像数据库、缓存这类有状态的，多副本时就必然涉及到数据同步的问题。
MySQL的锁机制，就是数据库为了保证数据的一致性而设计的面对并发场景的一种规则。
应用架构是一个系统的高级结构。它是关于系统的一系列决策，包括系统的组成部分、这些部分之间的交互，以及对这些部分的引导性指南。这些决策通常是由企业的IT团队和关键干系人员共同作出的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
