# 当配置中需要配置内存大小时，可以使用 1k, 5GB, 4M 等类似的格式，其转换方式如下(不区分大小写) # # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes # 1mb => 1024*1024 bytes # 1g => 1000000000 bytes # 1gb => 1024*1024*1024 bytes # # 内存配置大小写是一样的.比如 1gb 1Gb 1GB 1gB
Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能。
本实验是在测试环境下，考虑到学生机器较弱，因此只准备一台linux服务器用作环境！！
一、磁盘 1、告警：Disk read/write request responses are too high 表达式解释为: 最近15分钟的对应磁盘的Disk read request avg waiting time (r_await)大于20ms或者 Disk write request avg waiting time (w_await) 大于20ms
redis是当前比较热门的NOSQL系统之一，它是一个key-value存储系统。和Memcached类似，但很大程度补偿了memcached的不足，它支持存储的value类型相对更多，包括string、list、set、zset和hash。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作。在此基础上，redis支持各种不同方式的排序。Redis数据都是缓存在计算机内存中，并且会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。
最近 DBA 反馈线上的一个 Redis 资源已经超过了预先设计时的容量，并且已经进行了两次扩容，内存增长还在持续中，希望业务方排查一下容量增长是否正常，若正常则期望重新评估资源的使用情况，若不正常请尽快查明问题并给出解决方案进行处理。
Stack Overflow 对于广大的程序员来说应该并不陌生，当我们google一些开发相关问题时，被导航到Stack Overflow
这次我们讲讲redis的一些配置要点，包括日志，持久化，主备，数据压缩，内存分配等，以及一些坑，简单的配置就不说了，可以去看官方文档。
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
作者 | Jordan Tigani 译者 | 红泥 策划 | 李冬梅 随着云计算时代的发展，大数据实际已经不复存在。在真实业务中，我们对大数据更多的是存储而非真实使用，大量数据现在已经变成了一种负债，我们在选择保存或者删除数据时，需要充分考虑可获得价值及各种成本因素。 十多年来，人们一直很难从数据中获得有价值的参考信息，而这被归咎于数据规模。“对于你的小系统而言，你的数据量太庞大了。”而解决方案往往是购买一些可以处理大规模数据的新机器或系统。但是，当购买了新的设备并完成迁移后，人们发现仍然难以处
REDIS 允许您在 RAM 上存储键值对，由于访问 RAM 比访问磁盘快 150,000 倍，比访问 SSD 快 500 倍，这意味着速度。
我们目前在工作中遇到一个性能问题，我们有个定时任务需要处理大量的数据，为了提升吞吐量，所以部署了很多台机器，但这个任务在运行前需要从别的服务那拉取大量的数据，随着数据量的增大，如果同时多台机器并发拉取数据，会对下游服务产生非常大的压力。之前已经增加了单机限流，但无法解决问题，因为这个数据任务运行中只有不到10%的时间拉取数据，如果单机限流限制太狠，虽然集群总的请求量控制住了，但任务吞吐量又降下来。如果限流阈值太高，多机并发的时候，还是有可能压垮下游。 所以目前唯一可行的解决方案就是分布式限流。
使用Redis时，我们需要结合具体业务和Redis特性两方面来考虑如何设计使用方案。需要两个从两个方面考虑：
Nginx Nginx是一款由C语言编写的高性能、轻量级的HTTP和反向代理服务器，同时也是一款IMAP/POP3/SMTP服务器。 nginx.conf：Nginx核心配置文件，linux下默认安装在/etc/nginx/ # Nginx所用用户和组，window下不指定 user www-data; # 工作的子进程数量（通常等于CPU数量或者2倍于CPU） worker_processes auto; # pid存放文件 pid /run/nginx.pid; #
本文首发：FPGA的设计艺术（1）FPGA的硬件架构[1]FPGA是一个很神奇的器件，工程师可以在上面做游戏或者说工程师每天都在上面做游戏，通过搭积木的方式，还能设计出精美绝伦，纷繁复杂，奇妙无比的电路，这使用器件搭建几乎是做不到的，因为太庞大！这种设计也只能在FPGA或者专用的IC中能够实现，IC只能定制，可是FPGA却可以反复使用，每一次都可以是不同的电路，因此，FPGA目前的应用十分广泛，在很多关键领域，也是香饽饽一样的存在。
【编者按】文章内容是HighScalability创始人Todd Hoff基于Twitter工程师Yao Yu “Scaling Redis at Twitter”演讲的总结。在演讲中，Yao从高等级概括了Twitter为什么会选择Redis，及如此规模缓存服务打造的挑战和途径。 以下为译文： 自2010年，Yao Yu已经效力于Twitter的缓存团队。而本文主要基于她近日发表的“Scaling Redis at Twitter”演讲，主要谈Twitter的Redis扩展，同时也不局限于Redis。从演
Redis 是一个 Key-Value 存储系统。和 Memcached 类似，它支持存储的 value 类型相对更多，包括 string(字符串)、 list(链表)、 set(集合)和 zset(有序集合)。这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上， Redis 支持各种不同方式的排序。与 memcached 一样，为了保证效率，数据都是缓存在内存中。区别的是 Redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了 master-slave(主从)同步。
Zabbix 监控 cyylog 2020-04-07 22:08:29 Zabbix监控什么？ 监控项 Zabbix常用监控项 zabbix自带的常用监控项 agent.ping 检测客户端可达性、
我们知道，Redis是典型单线程架构。这种架构下，所有的读写命令操作都是由主线程完成。主线程的处理能力将决定着Redis整体的性能。那么，哪些因素会导致Redis阻塞呢？
交换空间是当今计算的一个共同方面，不管操作系统如何。Linux使用交换空间来增加主机可用的虚拟内存量。它可以在常规文件系统或逻辑卷上使用一个或多个专用交换分区或交换文件。
当今无论什么操作系统交换Swap空间是非常常见的。Linux 使用交换空间来增加主机可用的虚拟内存。它可以在常规文件或逻辑卷上使用一个或多个专用交换分区或交换文件。
在磁盘上的内部临时表过多时(created_tmp_disk_tables)，需要增大参数tmp_talble_size，temptable_max_ram，temptable_max_mmap。
提到内存管理，我们就需要考虑Redis的内存过期策略和内存淘汰机制。该文章便从这两方面入手，分享一些在Redis内存方面相关的基础知识。
FastDb 是高效的内存数据库系统，具备实时能力及便利的 C++ 接口。FastDB 不支持 client-server 架构因而所有使用 FastDB 的应 用程序必须运行在同一主机上。FastDB 针对应用程序通过控制读访问模式作了优化。通过降低数据传输的开销和非常有效的锁机制提供了高速的查询。对每一 个使用数据库的应用数据库文件被影射到虚拟内存空间中。因此查询在应用的上下文中执行而不需要切换上下文以及数据传输。fastdb 中并发访问数据库的同 步机制通过原子指令实现，几乎不增加查询的开销。fastdb 假定整个数据库存在于 RAM 中，并且依据这个假定优化了查询算法和接口。此外，fastdb 没有数据库缓冲管理开销，不需要在数据库文件和缓冲池之间传输数据。这就是 fastdb 运行速度明显快于把数据放在缓冲池中的传统数据库的原因。
詹士 发自 凹非寺 量子位 | 公众号 QbitAI “大数据已死。” 说这话的，正是来自Google十年员工，数据分析产品BigQuery创始成员之一，Jordan Tigani。 在最新发布的一篇博文中，他表示—— 大数据概念在十多年前开始兴起，时至今日，销售们仍用“海量数据带来指数级增长曲线”说法，来勾起（唬住）客户为相关服务买单的欲望，否则就将被数字时代抛弃。作者自己也曾是其中之一。 但现在，Jordan Tigani不仅认为这种说法行不通，还称——“数据大小根本不是问题所在。” 那么问题在哪？他
本章为官方文档,主要介绍 Android 如何管理应用进程和内存分配。 首先了解为什么要有内存优化,官方的文档介绍 https://developer.android.com/topic/perfor
bigkey简单来说就是存储本身的key值空间太大，或者hash，list，set等存储中value值过多。
【1】ulimit 与 TCP backlog：1）、修改 ulimit：通过 ulimit 修改 open files 参数，redis 建议把 open files 至少设置成 10032，因为 maxclients 是10000 [客户端的数据是以文件的形式进行保存的] ，另外 redis 内部最多会使用 32 个文件描述符。
如果 SQL 在执行过程中读到的数据无法直接得到结果，那么就需要额外的内存来保存中间结果，得出最终结果，这个额外的内存就是内部临时表。比如 group by 执行时，就需要构建一个临时表，需要额外的字段保存聚合函数的结果，当然为了防止内存使用过大，一般超出某个限制后就会放到磁盘上。关于哪些操作会产生内部临时表，可以查看官方文档：https://dev.mysql.com/doc/refman/8.0/en/internal-temporary-tables.html，下面主要介绍 MySQL 8.0 内部临时表存放方式的变化。
在多年前，第一代PC拥有高达256KB的RAM和两个5.25英寸的软盘驱动器。没有硬盘，因为在当时它们极为昂贵。这些限制导致在处理大量（对那时来说）数据时由于内存不足，必须在物理上交换软盘。如果当时有办法只把我经常使用的数据（如同整体数据的一个子集）放入内存就好了。
目前已经复习了Linux、网络、前后端、docker以及k8s的基础知识，现在就是开始研究持续集成和持续部署也就是CI/CD,目前主流的就是gitlab+自带的cicd流程或者jenkins+docker/k8s作为实现手段，那我们首先安装gitlab，上传代码，然后安装gitlab-runner作为代码的运行环境。将代码部署到k8s集群中，实现快速的代码部署更新迭代，下面就来介绍，可能这篇文章无法全部写完，会持续输出。
我们将讨论在大规模数据下实现高性能，需要在许多重要维度上进行考虑的关键因素，其中包括：
l DataNode异步地将内存中数据刷新到磁盘，从而减少代价较高的磁盘IO操作，这种写入称之为懒持久写入
【编者按】日前，来自Aerospike公司的Anshu和Rajkumar在High Scalability网站上发表文章宣称其能 以1.68美元/小时的成本获取百万TPS，受此影响，Redis Labs的Itamar Haber 利用非基准测试程序，在作者看来基准测试程序往往是一个陷阱，那么Redis的测试结果到底如何呢？ 以下为译文： 前不久有一天，我看到来自Aerospike公司的Anshu和Rajkumar写的文章。非常喜欢这篇文章，给我印象特别深刻的是他们对EC2实例的重度调整继而突破10
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
redis之所以快，除了他是基于内存存储的，还有优秀的IO框架外更离不了其底层高性能数据结构的设计。现在我们来细细品一下redis的高新能数据结构是如何设计的。
本文总结了发表在IBC2018上，由英国Streampunk Media Ltd.的R. I. Cartwright和美国Gilmer＆Associates Inc.的B. Gilmer撰写的“The Infinite Capacity Media Machine”，介绍了全能媒体机(具有无限的计算-存储-传输能力的理想媒体机器)的概念以及敏捷媒体蓝图计划，并分析了当前系统的性能以及未来的工作方向。
OBJ_ENCODING_INT：表示成数字。最多标识long的最大值，超过转为OBJ_ENCODING_RAW。 OBJ_ENCODING_RAW： string原生表示方式。 OBJ_ENCODING_EMBSTR： 功能同RAW，只是数据是存储在一块连续的内存中，embstr创建和释放字符串操作内存的次数比RAW的2次降低为1次，修改将重新分配内存。 OBJ_ENCODING_HT： 类似hashtable，表示成dict。 OBJ_ENCODING_ZIPMAP： 是个旧的表示方式，已不再用。 OBJ_ENCODING_LINKEDLIST：双向列表，3.2以下版本使用 OBJ_ENCODING_ZIPLIST： 表示成ziplist。 OBJ_ENCODING_INTSET：表示成整数数组。用于set数据类型。 OBJ_ENCODING_SKIPLIST：表示成skiplist跳跃表。用于zset数据结构。 OBJ_ENCODING_QUICKLIST：表示成quicklist。用于list数据类型。
Redis 的 Hash 类型是一种键值对集合，这种数据类型适合用于存储对象。在 Hash 类型中，每个键都有一个对应的值，这和 Python 的字典、Java 的 HashMap 以及 JavaScript 的对象非常相似。
许多组织都在尝试收集和利用尽可能多的数据，以改善其经营方式，增加收入和提升影响力。因此，数据科学家面对50GB甚至500GB大小的数据集情况变得越来越普遍。
通过以上的内存优化策略，Redis能够根据需求选择最佳的编码方式，以最小的内存消耗来存储整数集合。
Redis 有一个比较突出的特点就是数据结构更丰富, 「string、hash、list、set、zset、Redis5.0 新数据结构-stream」
本文我们将探讨 Redis (远程字典服务器). Redis是一个开源的、内存型的键值存储。它也被看作为一个字典型的数据结构服务器，因为它的键值不仅仅是字符串，也有hash、集合、列表和排序的集合等。 Redis 与Memcached 很类似，但它们之间有一些不同. 特性RedisMemcached在内存中XX复制X 分区X 数据结构X 验证XX发布订阅模型X 数据持久X 虚拟内存X 特性详解 在内存中: Redis将键值存储到主存上以便快速读写存取. 复制: Redis支持主备复制. 数据写
星球里经常有人问，如何保存sparkstreaming状态，回答的时候也会说道Alluxio。可能很多公司并没有去做Alluxio相关的使用。希望通过本文，大家对Alluxio的使用场景更详细了解，后面结合spark streaming浪尖会制作一个demo。
这个方案是首先想到的，毕竟这个场景是非常契合String的。我们把图片ID和图片存储对象ID分别作为键值对的key和value来存储，其中，图片存储对象ID用String类型。
MongoDB Manual (Version 4.2）> Storage > Storage Engines > WiredTiger Storage Engine
从 Postgres 到 Redis，再到 Prometheus，我们都使用并从事过各种数据库的开发。我花了很多时间来阅读其中一些数据库的源代码，对于那些像我一样好奇的少数人来说，他们有兴趣学习如何编写一个数据库。本书旨在记录这一过程。
说到redis就会联想到memcached，反之亦然。了解过两者的同学有那么个大致的印象：redis与memcached相比，比仅支持简单的key-value数据类型，同时还提供list,set,zset,hash等数据结构的存储；redis支持数据的备份，即master-slave模式的数据备份；redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用等等，这似乎看起来redis比memcached更加牛逼一些，那么事实上是不是这样的呢？存在即合理，我们来根据几个不同点来一一比较一下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
