系统优化设计方案3.20周一例会

  目前媒资的接口系统需要出两个优化方案出来:一个是短期的稳定方案,另一个是长期的改造方案。

  短期内要解决的问题主要是:

  1. 批量mget导致cbase端返回给client响应慢,特别是mget的key数量越大这个现象越明显。

因mget请求导致整体接口服务响应慢,memc客户端发起重试2次,如果此时并发稍大些,同时会因无法从xmemcached连接池中获取连接而引发大量的TimeoutException,

出现TimeoutException异常memc客户端会重试2次,影响其他接口服务,最终引起雪崩,服务不可用。

  这个已经通过对moxi参数调优、memcached参数调优,有所缓解。下面需要通过对批量请求mget优化。另外考虑将现有集群换成redis(因为缓存服务部门cbase集群是比较成熟的,所以有风险)。但是我15年入职时就听过一些其他部门的技术分享,提到了cbase的不稳定因素,最后他们的解决方案也是不使用乐视统一的cbase集群,自己搭建私有集群,稳定性得到很大提高,所以这个是值得尝试的。目前cbase里存的是全量缓存,使用redis的mget,基本不存在取不到需要穿透到DB的问题。但是目前要解决的是 mget的性能问题,那么搭建redis集群需要考虑采用哪种集群:codis, twemporxy, redis cluster能更好的支持这一点。因为在分布式下涉及怎样同时取多个Redis上多个key。将多个key按照算法分组,然后再合并多组回应的问题。就是redis集群的路由问题。

  德伟回复:问过负责redis的徐雷不建议redis使用mget方式

  2. 数据库分库分表问题

  媒资千万级数据表的拆分,需要备忘的是将更新时间换成时间戳根据当前时间自动更新的问题。目前其他业务线的依赖已经由直接的数据库访问改成了消息推送的方式,解决了耦合导致的数据库结构改变对其他部门的影响。德伟提出我们根据时间戳进行更新,那么更新改成几秒钟一次,数据量会不会增大?会上忘了回复这一问题:除非对同一数据的修改十分频繁,不然推送的总量应该是差不多的,那么时间间隔小,每次对MQ的压力应该是更小更均匀了。 拆分前需要将中国站的数据进行一次数据迁移到分表,需要和调用方沟通的问题。数据表拆分要解决的问题是:专辑ID可能会变,专辑下面关联视频,所以以什么依据来进行拆分的问题。

  3. 预告片的接口优化问题

  预告片是否可以考虑不走缓存,直接进行数据库索引来取返回结果。这么做的原因是有次线上事故,是由于预告片取的过多。每次都走缓存mget。mget本身key过多,性能下降快,导致其他服务处于等待超时。不走缓存,可以避免这样的突发情况造成的缓存瓶颈。

  德伟回复:最初想计算完后放到缓存中。走索引每次穿透db按现在量也问题不大,需要压测出个结果对比下. 生产服务器都有权限 可以看下, 现在qps很低

  长期改造:

  目前媒资接口需求和数据增长量趋于稳定,需要进行一次彻底的改造和重构。需不需要将dubbo层的面向服务层去掉?我的偶像马丁福特说:分布式的最基本原则是尽量不要分布式。well,这只是我的意见。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏MessageQueue

2017上海QCon之旅总结(下)

本来这个公众号的交流消息中间件相关的技术的。十月去上海参加了QCon,第一次参加这样的技术会议,感受挺多的,所以整理一下自己的一些想法接公众号和大家交流一下。

912
来自专栏IT技术精选文摘

如何实现系统的可扩展性和高可用性

概述 可扩展性,高可用性和性能 可扩展性,高可用性,性能和关键任务这些术语对不同组织或组织内的不同部门来说意味着不同的事情。它们经常被互换,造成混乱,导致管理...

40010
来自专栏CSDN技术头条

史上更全的 MySQL 高性能优化实战总结!

MySQL 对于很多 Linux 从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行 MySQL 的优化之前必须要...

702
来自专栏JadePeng的技术博客

APM 原理与框架选型

随着微服务架构的流行,一次请求往往需要涉及到多个服务,因此服务性能监控和排查就变得更复杂:

1473
来自专栏企鹅号快讯

使用Redis走进误区,该怎么办?

首先是一个产品线开发人员搭建起了一套庞大的价格存储系统,底层是关系型数据库,只用来处理一些事务性的操作和存放一些基础数据; 在关系型数据库的上面还有一套Mong...

2289
来自专栏aCloudDeveloper

DPDK 全面分析

高性能网络技术 随着云计算产业的异军突起,网络技术的不断创新,越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合,从传统的物理网络到虚拟网络,从扁...

6964
来自专栏Java架构师历程

Mysql海量数据存储和解决方案之—分布式DB方案

1)  分布式DB水平切分中用到的主要关键技术:分库,分表,M-S,集群,负载均衡

1082
来自专栏云计算

为云开发API接口的最佳方案

一些云服务提供商及其OpenStack,vCloud,OnApp等服务提供平台正越来越多地通过API或Web服务进行编程。要使用这些API / Web服务,我们...

2776
来自专栏AI星球

"一言蔽之系列"--简说SQL与NoSQL那些事

文章结构: 1、关系型数据库:ACID理论 2、非关型系数据库:分布式存储理论、CAP理论、BASE理论、优缺点、常用NoSQL数据库 3、Python链...

753
来自专栏Linyb极客之路

优化网站性能必备的6种架构方案,你知道吗?

一个成熟的大型网站(如淘宝、天猫、腾讯等)的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的,它是随着用户量的增加,业务功能...

703

扫码关注云+社区