什么是CPU时间片？我们现在所使用的Windows、Linux、Mac OS都是“多任务操作系统”，就是说他们可以“同时”运行多个程序，比如一边打开Chrome浏览器浏览网页还能一边听音乐。
文章目录 1. 题目 2. 解题 1. 题目 表: UserActivity +---------------+---------+ | Column Name | Type | +---------------+---------+ | username | varchar | | activity | varchar | | startDate | Date | | endDate | Date | +---------------+---
OcceanBase是淘宝开源的一个分布式关系数据库，以下是其官方地址：https://oceanbase.alipay.com/
提到CPU利用率，就必须理解时间片。什么是CPU时间片？我们现在所使用的Windows、Linux、Mac OS都是“多任务操作系统”，就是说他们可以“同时”运行多个程序，比如一边打开Chrome浏览器浏览网页还能一边听音乐。
有些时候我们希望减少对数据库的查询来提高程序的性能，因为这些数据不是经常变更的，而是会在很长一段时间内都不会变化，因此，我们每连接一次数据库，都会把相应的结果用文件的形式....
Prometheus 是一套开源的监控系统。设计思路来自于Google的borgmon 监控系统(由工作在 SoundCloud的Google 前员工在2012年创建)。
题目介绍： 获取最近第二次的活动 get-the-second-most-recent-activity
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
（下面很多指标术语在不同的语境下可能会有不同的含义，在评价性能指标时，通常是指他们能够达到的最优值。比如吞吐量是指服务能承受的最大吞吐量。）
结合 Wikipedia 和业界一些数据（仓）库产品对物化视图的定义，简单说明：物化视图是原始数据某个时刻快照的预计算结果，其中原始数据一般为表或者多张表的join，预计算过程一般是较为简单的sql查询，结果一般都会存储到新的表。可以将物化视图的生成过程抽象为Source、Transform、Sink，数据可以落地到Hdfs、Cos、Clickhouse、kudu等，用来减少数据的重复计算；另外某些场景需要在极短的时间内进行响应，如果直接查询原始数据，一般无法达到业务的需求，预计算后速度可以大大提升；在某些场景下物化视图也是数据资产，例如Cube（维度建模、kylin的概念）代表的业务模型，有时为了节省存储成本，只保留物化视图。
缓存雪崩是指缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。
监控(Metrics),链路(Tracing),日志(Logging) 都是用于监测系统在运行时的情况,在这3个领域中都有着不同的解决方案,同时3点也可能会重合在一起进行使用.
最近在看Gophercon大会PPT的时候无意中看到了关于Metrics，Tracing和Logging相关的一篇文章，凑巧这些我基本都接触过，也是去年后半年到现在一直在做和研究的东西。从去年的关于Metrics的goappmonitor，到今年在排查问题时脑洞的基于log全链路(Tracing)追踪系统的设计，正好是对这三个话题的实践。这不禁让我对它们的关系进行思考：Metrics和Looging的区别是什么？Tracing还需要Logging吗？我们什么时候需要Metrics？它们之间有什么关联？
1. 查询一段时间内的数据： 查询一天： select * from table where to_days(column_time) = to_days(now()); select * from table where date(column_time) = curdate(); 查询一周： select * from table where DATE_SUB(CURDATE(), INTERVAL 7 DAY) <= date(column_time); 查询一个月： select *
大家好，我是小❤，一个漂泊江湖多年的 985 非科班程序员，曾混迹于国企、互联网大厂和创业公司的后台开发攻城狮。
在某个工作日，突然收到线上的服务告警，有大量的请求延时产生，查看线上服务发现基本上都是获取数据库连接超时，而且影响时间只有34秒钟，服务又恢复了正常。隔了几分钟之后，又出现了大量的告警，还是影响34秒后又恢复正常。 由于我们是底层服务，被重多的上层服务所依赖，这么频繁的异常波动已经严重影响到了业务使用。开始排查问题
Apache并发连接数详细统计，包括读取请求、持久连接、发送响应内容、关闭连接、等待连接
Prometheus+Grafana集成的监控系统已经是云原生的绝配，但是Prometheus指标到底该如何使用？Grafana到底该如何展示仍然值得思考和推敲。
Apache性能监控支持以下指标： Apache吞吐率 Apache并发连接数 Apache并发连接数详细统计，包括读取请求、持久连接、发送响应内容、关闭连接、等待连接 image.png Lighttpd性能监控支持以下指标： Lighttpd吞吐率 Lighttpd并发连接数 Lighttpd并发连接数详细统计，包括建立连接、读取请求、读取POST数据、处理请求、发送响应内容、关闭连接 Nginx性能监控支持以下指标： Nginx吞吐率 Nginx并发连接数 Nginx并发连接数详细统计，包括读取请
你们之中很多人多多少少都接触过监控，但是你所知道的监控，到底属于哪一类呢？这期我们就从下面这张图开始聊起。如图所示，可以清晰的看出，监控的世界可以被划分为基于 Logging 的监控、基于 Tracing 的监控、基于 Metrics 的监控。
分布式系统中我们会对一些数据量大的业务进行分拆，如：用户表，订单表。因为数据量巨大一张表无法承接，就会对其进行分库分表。小伙伴们可以去看一下《分库分表？如何做到永不迁移数据和避免热点？》
你知道MySQL启停都做了些什么吗？ 启动的时候初始化配置文件，读取redo配合binlog进行事务recover；停止的时候好像没有啥操作可做；印象中除了这些，就再没有了，至少在今天之前，我是这么认为的，我是真的肤浅。 今天就来聊一聊MySQL关于启停的常规操作。
你知道MySQL启停都做了些什么吗？启动的时候初始化配置文件，读取redo配合binlog进行事务recover，停止的时候好像没有啥操作可做；印象中除了这些，就再没有了，至少在今天之前，我是这么认为的，我是真的肤浅。今天就来聊一聊MySQL关于启停的常规操作。
分布式系统中，全局唯一 ID 的生成是一个老生常谈但是非常重要的话题。随着技术的不断成熟，大家的分布式全局唯一 ID 设计与生成方案趋向于趋势递增的 ID，这篇文章将结合我们系统中的 ID 针对实际业务场景以及性能存储和可读性的考量以及优缺点取舍，进行深入分析。本文并不是为了分析出最好的 ID 生成器，而是分析设计 ID 生成器的时候需要考虑哪些，如何设计出最适合自己业务的 ID 生成器。
（1）表的存储会出现碎片化，每当删除了一行内容，该段空间就会变为空白、被留空，而在一段时间内的大量删除操作，会使这种留空的空间变得比存储列表内容所使用的空间更大；
有这么一个需求: 我们要临时修改mysql部分账号的密码. 等过一段时间就修改回来.
在数字化系统扮演重要角色的今天，数据库稳定性成为企业关注的核心问题。对于重要计算机系统而言，突发的性能下降可能对业务造成不可估量的损失。为了稳定数据库性能，用户可以从管理流程入手规范变更的测试，或者利用产品手段减少预期外的变化。然而，这仍旧无法完全规避突发的SQL性能问题，其中的原因包括但不仅限于：
跨域，指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器对JavaScript施加的安全限制。
两者分别是什么Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。H
Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询，因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又
但一旦涉及到分库分表，就会引申出分布式系统中唯一主键ID的生成问题，永不迁移数据和避免热点的文章中要求需要唯一ID的特性：
分布式系统中我们会对一些数据量大的业务进行分拆，如：用户表，订单表。因为数据量巨大一张表无法承接，就会对其进行分库分表。小伙伴们可以去看一下
Druid.io（以下简称Druid）是2013年底开源出来的， 主要解决的是对实时数据以及较近时间的历史数据的多维查询提供高并发(多用户)，低延时，高可靠性的问题。
举个栗子：支付宝上A给B转账100元，A账户扣100，B账户增加100，这就是一个事务，这个操作中要么都成功，要么都失败。
使用数据库的时候，我们每个操作都十分小心，尤其是不能直接在数据库上执行 update、delete 等操作，否则万一忘记加全 where 条件，可能就会造成无法挽回的结果。 有一句十分流行的调侃 — “从删库到跑路”就很形象的说明了误操作后的结果，那么如果你真的不小心执行了删库操作，真的就无法挽回了吗？ 当然不会了，通常对于线上数据库，我们都会定时冷备，dump 导出数据库的全量备份，并且保留一段时间内的所有修改日志，进而实现在必要时回滚到这段时间内的任何一秒。 这里提到的“日志”指的就是 binlog，那么究竟什么是 binlog 呢？本文我们就来详细介绍一下。
Wenjun，携程资深软件工程师，负责大住宿数据智能平台的研发与维护，对于大数据领域技术有浓厚兴趣。
前言 今天，我们继续跟着 RxJava-Android-Samples 的脚步，一起看一下RxJava2在实战当中的应用，在这个项目中，第二个的例子的描述如下： 简单地翻译过来：如果在2s内连续点击了
这个问题我们可以从两个角度去解答。一个是100G的数据量用MySQL和MongoDB在存读取上有什么区别，另一个是数据本身的结构和你要进行的应用来考虑使用哪种数据库比较方便。
原来微信机器人的数据统计功能做的比较复杂，后面感觉微信公众号运营的需求都是功能方面的需求，而微信公众号自身后台的数据统计也做得越来越详细，我就把微信机器人的数据统计功能合并到一个菜单页，目前还有以下的功能：
今天继续和大家分享下我作为大数据测试工程师对ETL测试的一些认识。ETL测试认知续篇。
Kudu是Cloudera开源的新型列式存储系统，专门为了对快速变化的数据进行快速的分析。 在国内，小米和神策都已经采用了kudu。 我们使用了kudu 1.3.0版本存储用户行为数据，现在已经使用了一段时间。 首先它的插入性能还是不错的，设置足够的内存以后，插入速度轻轻松松就达到了百万条每秒。 查询速度还算中规中矩，用spark SQL或者impala在上面都有不错的查询速度，至少比hbase快多了，当然前提是要合理设置range分区，让每次的查询进行提前剪枝。 当然在使用过程中遇到了几个小坑，
在某个时间点，所有的key失效，此时突然有6000条数据请求，去请求缓存，由于key失效，此时这6000的请求同时去直接访问数据库，数据库同一时间内无法坑住大量的请求压力，导致数据库崩了
今天，我有幸参加了2017年的分布式追踪峰会，其中有很多来自AWS / X-Ray，OpenZipkin，OpenTracing，Instana，Datadog，Librato等公司的人员，我很遗憾我忘记了这一点。有一次讨论转向了项目范围和定义。跟踪系统是否也应该管理日志记录？什么确实的记录，通过在室内所代表的不同的镜头看？所有各种混凝土系统在哪里适合图片？
将一些需要变动的配置写在属性文件中 比如，没有把一些需要并发执行时使用的线程数设置成可在属性文件中配置。那么你的程序无论在DEV环境中，还是TEST环境中，都可以顺畅无阻地运行，但是一旦部署在PROD上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因也许是线上环境并发造成也许是其他。如果线程数目可以在属性文件中配置，那么使它成为一个单线程应用程序就变得十分容易了。我们不再需要为了解决问题而反复地部署和测试应用了。这种方法也同样适用于配置 URL、服务器和端口号等。 这里推
Photo from Unsplash 现在很多网站都是对单个 IP 地址有访问次数限制，如果你在短时间内访问过于频繁。该网站会封掉你 IP，让你在一段时间内无法正常该网站。突破反爬虫机制的一个重要举措就是代理 IP。拥有庞大稳定的 IP 代理，在爬虫工作中将起到重要的作用,但是从成本的角度来说，一般稳定的 IP 池都很贵。因此，我为 Scrapy 爬虫编写个免费 IP 代理池插件。 1 特点 该插件适用的程序是基于 Scrapy 框架编写的爬虫程序。插件通过爬取免费代理地址，然后过滤掉无效 IP 代理
在使用@FeignClient注解的时候 是默认使用了ribbon进行客户端的负载均衡的,默认的是随机的策略,那么如果我们想要更改策略的话,需要修改消费者yml中的配置,如下:
缓存雪崩是由于原有缓存失效(过期)，新缓存未到期间。所有请求都去查询数据库，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机。从而形成一系列连锁反应，造成整个系统崩溃。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
