腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据成神之路

专注大数据领域的一切技术~

专栏作者

636

文章

1289199

阅读量

317

订阅数

胖哥的经验 | 一款普适的实时数仓架构设计

flink 大数据实时数仓云数据库 Redis 编程算法

首先我们来聊一聊实时数仓是怎么诞生的，在离线数仓的时候数据是T+1的也就是隔一天才能看到昨天的数据，这种形式持续了很久的时间，但是有些场景真的只有实时的数据才有用武之地。例如推荐、风控、考核等。那么这个时候实时指标也就应运而生，在最开始的时候，采用flink\spark streaming来进行数据的指标统计。在这个时候，数据存在哪里又是一个问题。例如大屏计算结果可能存储在redis中，可以参考如下图所示的，实时大屏架构图。

王知无-import_bigdata

2021-01-20

8170

后起之秀 | MySQL Binlog增量同步工具go-mysql-transfer实现详解

go lua 云数据库 Redis 云数据库 SQL Server

工作需要研究了下阿里开源的MySQL Binlog增量订阅消费组件canal，其功能强大、运行稳定，但是有些方面不是太符合需求，主要有如下三点：

王知无-import_bigdata

2021-01-20

8K0

Redis中的管道Pipeline操作

bash 云数据库 Redis 命令行工具 python

Redis默认每次执行请求都会创建和断开一次连接池的操作，如果想执行多条命令的时候会在这件事情上消耗过多的时间，因此我们可以使用Redis的管道来一次性发送多条命令并返回多个结果，节约发送命令和创建连接的时间提升效率。

王知无-import_bigdata

2020-07-28

2.8K0

Redis6.0主从、哨兵、集群搭建和原理

云数据库 Redis 编程算法网络安全

由于单机Redis存储能力受单机限制，以及无法实现读写操作的负载均衡和读写分离，无法保证高可用。本篇就来介绍 Redis 集群搭建方案及实现原理，实现Redis对数据的冗余备份，从而保证数据和服务的高可用。主从复制是哨兵和集群的基石，因此我们循序渐进，由浅入深一层层的将Redis高可用方案抽丝剥茧展示在大家面前。

王知无-import_bigdata

2020-07-22

3.6K0

Redis系列 | 缓存穿透、击穿、雪崩、预热、更新、降级

sql 数据库缓存云数据库 Redis

Redis是高性能的分布式内存数据库，对于内存数据库经常会出现下面几种情况，也经常会出现在Redis面试题中：缓存穿透、缓存击穿、缓存雪崩、缓存预热、缓存更新、缓存降级。本篇分别介绍这些概念以及对应的解决方案。

王知无-import_bigdata

2020-07-22

11.3K0

循环查询数据的性能问题及优化

云数据库 SQL Server 缓存 mongodb 云数据库 Redis 云数据库 MongoDB

糟糕的代码，对代码维护、性能、团队协作都会造成负面影响，所以，先设计再实现，谋而后动。

王知无-import_bigdata

2020-06-06

3.2K0

HBase生产环境优化不完全指南

hbase TDSQL MySQL 版缓存大数据云数据库 Redis

HBase集群一旦部署使用，再想对其作出调整需要付出惨痛代价，所以如何部署HBase集群是使用的第一个关键步骤。

王知无-import_bigdata

2020-04-02

1.5K0

后端 | 微服务架构，静态数据通用缓存机制

缓存云数据库 Redis 微服务数据库

来源:http://blog.bossma.cn/architecture/microservice-business-static-data-universal-cache-mechanism/

王知无-import_bigdata

2019-11-11

4520

基于Kafka+Flink+Redis的电商大屏实时计算案例

云数据库 Redis json 大数据缓存

实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）。

王知无-import_bigdata

2019-11-09

2K0

Redis选13亿个Key,4个field还是1亿个Key,13亿*4个field？

云数据库 Redis 对象存储存储编程算法

哈希hash又称为散列、杂凑等，是将任意长度的输入通过散列算法变换为固定长度的输出，最终输出也就是哈希值。这种转换是一种压缩映射。也就是说，散列值的空间通常要远小于输入控件，不同的输入可能会散列成相同的输出，所以不可能通过散列值来确定唯一的输入值。

王知无-import_bigdata

2019-11-09

3.5K0

解密 Redis 助力双 11 背后电商秒杀系统

云数据库 Redis 数据库 sql 缓存消息队列 CMQ 版

秒杀活动是绝大部分电商选择的低价促销、推广品牌的方式。不仅可以给平台带来用户量，还可以提高平台知名度。一个好的秒杀系统，可以提高平台系统的稳定性和公平性，获得更好的用户体验，提升平台的口碑，从而提升秒杀活动的最大价值。

王知无-import_bigdata

2019-11-07

1K0

千万级别高并发"秒杀"架构设计

云数据库 Redis 负载均衡负载均衡缓存压力测试

笔者专门研究了一下“12306”的服务端架构,学习到了其系统设计上很多亮点，在这里和大家分享一下并模拟一个例子：如何在100万人同时抢1万张火车票时，系统提供正常、稳定的服务。

王知无-import_bigdata

2019-11-07

1.5K0

青出于蓝 | 比Redis快5倍的KeyDB

云数据库 Redis 编程算法

KeyDB与Redis协议，模块和脚本完全兼容。这包括对事务的完全支持和脚本的原子执行。

王知无-import_bigdata

2019-10-31

2.6K1

Flink实时计算指标对数方案

大数据存储云计算 iphone 云数据库 Redis

作者简介：诸葛子房，目前就职于一线互联网公司，从事大数据相关工作，了解互联网、大数据相关内容，一直在学习的路上。

王知无-import_bigdata

2019-10-28

1.3K0

你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)

大数据 https 网络安全云计算云数据库 Redis

今年有个现象，实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。

王知无-import_bigdata

2019-09-16

1.8K0

Redis单线程？别逗了，Redis6.0多线程重磅来袭！

云数据库 Redis

2019年的 RedisConf 比以往时候来的更早一些，今年会议时间是4月1-3号，仍然是在旧金山鱼人码头Pier 27。恰逢今年是 Redis 第10周年，规模也比以往大一些，注册人数超过1600人，总共有80个议题，除了RedisLabs外还有很多云厂商和Redis用户带来分享。Redis 作者 antirez 在 RedisConf 2019 做了分享，其中一段展示了 Redis 6 引入的多线程 IO 特性对性能提升至少是一倍以上。

王知无-import_bigdata

2019-08-09

10.3K0

Spark Core源码精读计划3 | SparkContext辅助属性及后初始化

jar 云数据库 Redis spark

在文章#2中，我们了解了SparkContext的主体部分，即组件初始化。除了它之外，SparkContext中还有一些与其内部机制紧密相关的属性，下文为了简单，就将它们称为“辅助属性”。另外，在组件初始化完成后，还有一些善后工作，即后初始化（Post-init）。本文就来研究这两块内容。

王知无-import_bigdata

2019-08-02

7470

微博如何向五亿人推荐东西

推荐系统云数据库 Redis 数据库 sql

微博（Weibo）是一种通过关注机制分享简短实时信息的广播式社交网络平台。微博用户通过关注来订阅内容，在这种场景下，推荐系统可以很好地和订阅分发体系进行融合，相互促进。微博两个核心基础点：一是用户关系构建，二是内容传播，微博推荐一直致力于优化这两点，促进微博发展。如图 1 所示：

王知无-import_bigdata

2019-07-30

6130

关于Redis的几件小事 | 高并发和高可用

node.js 云数据库 Redis 数据库 sql 压力测试

如果你用redis缓存技术的话，肯定要考虑如何用redis来加多台机器，保证redis是高并发的，还有就是如何让Redis保证自己不是挂掉以后就直接死掉了。

王知无-import_bigdata

2019-07-23

1.3K0

关于Redis的几件小事 | Redis的数据类型/过期策略/内存淘汰

云数据库 Redis 数据结构缓存

这个是类似map的一种结构，这个一般就是可以将结构化的数据，比如一个对象（前提是这个对象没嵌套其他的对象）给缓存在redis里，然后每次读写缓存的时候，可以就操作hash里的某个字段。

王知无-import_bigdata

2019-07-23

9410

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态