腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏作者

810

文章

1217689

阅读量

247

订阅数

浅析Redis分布式集群倾斜问题

云数据库 Redis

对于分布式系统而言，整个集群处理请求的效率和存储容量，往往取决于集群中响应最慢或存储增长最快的节点。所以在系统设计和容量规划时，我们尽量保障集群中各节点的“数据和请求分布均衡“。但在实际生产系统中，出现数据容量和请求倾斜(类似Data Skew）问题是比较常见的。

Spark学习技巧

2022-04-18

9200

分布式锁用Redis还是Zookeeper？

云数据库 Redis 分布式 node.js

系统 A 是一个电商系统，目前是一台机器部署，系统中有一个用户下订单的接口，但是用户下订单之前一定要去检查一下库存，确保库存足够了才会给用户下单。

Spark学习技巧

2022-04-18

2290

Redis 缓存使用技巧和设计方案

缓存云数据库 Redis 编程算法数据结构数据库

缓存能够有效地加速应用的读写速度，同时也可以降低后端负载，对日常应用的开发至关重要。下面会介绍缓存使用技巧和设计方案，包含如下内容：缓存的收益和成本分析、缓存更新策略的选择和使用场景、缓存粒度控制方法、穿透问题优化、无底洞问题优化、雪崩问题优化、热点key重建优化。

Spark学习技巧

2022-04-18

7690

推荐工程系统架构演进

推荐系统云数据库 Redis android

推荐现在已经成为电商最核心的竞争力，也是电商平台的重要流量入口之一。近年来推荐场景逐渐的多样化，覆盖到各流量入口，几乎所有页面都可以进行商品推荐：首页、详情页、购物车页面、下单成功页、错误页等等。而不同的页面，推荐的侧重点也会不尽相同。

Spark学习技巧

2022-03-15

5620

伴鱼：借助 Flink 完成机器学习特征系统的升级

特征工程云数据库 Redis 编程算法 bash flink

在伴鱼，我们在多个在线场景使用机器学习提高用户的使用体验，例如：在伴鱼绘本中，我们根据用户的帖子浏览记录，为用户推荐他们感兴趣的帖子；在转化后台里，我们根据用户的绘本购买记录，为用户推荐他们可能感兴趣的课程等。

Spark学习技巧

2022-01-12

5260

高并发场景下disk io 引发的高时延问题排查

云数据库 Redis go

该系统属于长连接消息推送业务，某节假日推送消息的流量突增几倍，顺时出现比平日多出几倍的消息量等待下推。事后，发现生产消息的业务服务端因为某 bug ，把大量消息堆积在内存里，在一段时间后，突发性的发送大量消息到推送系统。但由于流量保护器的上限较高，当前未触发熔断和限流，所以消息依然进行流转。消息系统不能简单的进行削峰填谷式的排队处理，因为很容易造成消息的耗时长尾，所以在不触发流量保护器的前提下，需要进行的并发并行的去流转消息。

Spark学习技巧

2021-07-02

8960

漫画全面解释Spark企业调优点

存储 hbase 云数据库 Redis node.js 大数据

一般企业中，物理机器的cpu:内存基本上都是1:4+，比如机器24core，一般有128GB及以上内存；48core，一般有256GB及以上内存。

Spark学习技巧

2021-03-05

3810

飞天茅台超卖事故：Redis分布式锁请慎用！

分布式 lua 云数据库 Redis http

我们项目中的抢购订单采用的是分布式锁来解决的。有一次，运营做了一个飞天茅台的抢购活动，库存 100 瓶，但是却超卖了！

Spark学习技巧

2021-03-05

4000

并发减库存，怎么保证不超卖？

数据分析 java spring 云数据库 Redis 分布式

秒杀的场景有很多，比如：抢购、抢票、抢红包等等。总之，就是在极短时间内有大量的请求。

Spark学习技巧

2021-03-05

3.3K0

超卖 100 瓶茅台的事故分析

分布式 lua 云数据库 Redis http

本篇文章主要是基于我们实际项目中因为redis分布式锁造成的事故分析及解决方案。我们项目中的抢购订单采用的是分布式锁来解决的，有一次，运营做了一个飞天茅台的抢购活动，库存100瓶，但是却超卖了100瓶！要知道，这个地球上飞天茅台的稀缺性啊！！！

Spark学习技巧

2021-03-05

3430

Redis为什么要分16个库

sql 存储数据库云数据库 Redis

原文链接：https://www.jianshu.com/p/acfbcc74b701

Spark学习技巧

2020-12-28

3.2K0

从 Spark Streaming 到 Apache Flink：bilibili 实时平台的架构与实践

云数据库 SQL Server hbase TDSQL MySQL 版云数据库 Redis 云计算

摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，基于对 bilibili 实时计算的痛点分析，详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面：

Spark学习技巧

2020-02-26

1.4K0

技术干货|eBay对流量控制说“so easy”！

kafka 缓存云数据库 Redis

流量控制对于保证Web服务的安全性和可靠性至关重要。在安全性方面，需要阻止黑客频繁访问某些API而获取大量信息。在可靠性方面，任何服务在有限资源的情况下能处理的TPS都有上限。如果超过上限，Service的SLA会急剧下降，甚至服务不可用。根据队列理论，越多的流量，就会导致更多的延迟。所以为了保证Service的SLA，必须进行流量控制。本文介绍了一个基于Kafka和Storm的异步通用的流量控制方案；同时描述了如何根据数据倾斜程度来自动切换处理流程，以确保系统灵活性和延展性。最后，性能测试结果验证了该方案在高吞吐量时也能将计算延迟控制在6ms左右。

Spark学习技巧

2019-12-30

8270

Flink通过异步IO实现redis维表join

大数据数据库云数据库 Redis api 云数据库 SQL Server

使用flink做实时数仓的公司越来越多了，浪尖这边也是很早就开发了一个flink 全sql平台来实现实时数仓的功能。说到实时数仓，两个表的概念大家一定会知道的：事实表和维表。

Spark学习技巧

2019-12-27

3.4K0

这几道Redis面试题都不懂，怎么拿offer？

缓存数据库 sql 云数据库 Redis

随着系统访问量的提高，复杂度的提升，响应性能成为一个重点的关注点。而缓存的使用成为一个重点。redis 作为缓存中间件的一个佼佼者，成为了面试必问项目。本文分享一下Redis几道常见的面试题：

Spark学习技巧

2019-07-22

3670

Redis过期策略及实现原理

编程算法云数据库 Redis memcached 缓存

我们在使用redis时，一般会设置一个过期时间，当然也有不设置过期时间的，也就是永久不过期。

Spark学习技巧

2019-05-27

8470

一文搞定Redis高级特性与性能调优

云数据库 Redis 全文检索数据安全数据结构

本文从 Redis 基本特性入手，通过讲述 Redis 的数据结构和主要命令对 Redis 的基本能力进行直观介绍。之后概览 Redis 提供的高级能力，并在部署、维护、性能调优等多个方面深入介绍和指导。

Spark学习技巧

2019-05-09

1K0

flink 有状态udf 引起血案一

云数据库 Redis

最近在做一个画像的任务，sql实现的，其中有一个udf，会做很多事情，包括将从redis读出历史值加权，并将中间结果和加权后的结果更新到redis。

Spark学习技巧

2018-12-04

1.8K0

为什么分布式一定要有Redis？

分布式云数据库 Redis 数据库

考虑到绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。

Spark学习技巧

2018-08-01

4110

高可用Redis服务架构分析与搭建

云数据库 Redis 数据库存储云数据库 SQL Server

基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导

Spark学习技巧

2018-06-22

3230

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态