腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT技术精选文摘

专栏作者

542

文章

762848

阅读量

136

订阅数

分布式系统关键技术之流量与数据调度

分布式系统架构负载均衡缓存 api

流量调度：不要将流量调度和服务治理混为一谈 (服务治理是流量调度的前提)；主要功能；关键技术。

2018-12-06

1.4K0

微信支付商户系统架构背后的故事

微信系统架构 postgresql nat

PostgreSQL-XC在事务管理系统方案本身有一个明显的缺点，那就是事务管理机制会成为系统的瓶颈，GTM（Global Transaction Manager全局事务管理器）会限制系统的扩展规模。如图1所示，是每个请求过来CN(Coordinator 协调节点)都会向GTM申请必需的gxid（全局事务ID）和gsnapshot（全局快照）信息，并把这些信息随着SQL语句本身一起发往DN（Datanode数据库节点）进行执行。另外，PostgreSQL-XC的管理机制，只有主DN才会获取的gxid，而备DN没有自己的gxid，因此无法提供只读服务，对系统也是不小的浪费。

2018-07-30

8420

见证微信强大后台架构从0到1的演进历程

存储系统架构

阶段一：从无到有 2011.1.21 微信正式发布。这一天距离微信项目启动日约为2个月。就在这2个月里，微信从无到有，大家可能会好奇这期间微信后台做的最重要的事情是什么？我想应该是以下三件事： 1确定了微信的消息模型微信起初定位是一个通讯工具，作为通讯工具最核心的功能是收发消息。微信团队源于广硏团队，消息模型跟邮箱的邮件模型也很有渊源，都是存储转发。 📷 上图展示了这一消息模型，消息被发出后，会先在后台临时存储；为使接收者能更快接收到消息，会推送消息通知给接收者；最

2018-06-22

2.1K0

深度解析京东个性化推荐系统演进史

大数据机器学习系统架构

在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。2013年，国内大数据时代到来，一方面如果做的事情与大数据不沾边，都显得自己水平不够，另外一方面京东业务在这一年开始飞速发展，所以传统的方式已经跟不上业务的发展了，为此推荐团队专门设计了新的推荐系统。随着业务的快速发展以及移动互联网的

2018-01-30

2.1K0

聊聊Dubbox（一）：为何选择

dubbo 系统架构

1. 前言随着现在互联网行业的发展，越来越多的框架、中间件、容器等开源技术不断地涌现，更好地来服务于业务，解决实现业务的问题。然而面对众多的技术选择，我们要如何甄别出适合自己团队业务的技术呢？对于人来说，鞋子过大，可能影响奔跑的速度，鞋子过小，可能影响身体的成长。技术对于业务也是如此的关系。所以，相对于技术的学习、搭建、使用、运维等技能，我们对技术的甄别选择更是重中之重。那么本文要讲的Dubbox框架，又是如何在众多的服务框架中脱颖而出，被团队选中践行服务之路？ 2. 服务 2.1 为什么要做服务技术

2018-01-30

8960

聊聊Dubbox（二）：架构原理

dubbo 系统架构

2018-01-30

4340

再论分布式事务：从理论到实践

分布式系统架构

本文补充一种分布式事务解决方法：Best Effort. Best Effort 　　best effort即尽最大努力交付，主要用于在这样一种场景：不同的服务平台之间的事务性保证。比如我们在电商购物，使用支付宝支付；又比如玩网游的时候，通过App Store充值。拿购物为例，电商平台与支付平台是相互独立的，隶属于不同的公司，即使是同一个公司也很可能是独立的部门。因此，这两个平台是不可能使用同一套分布式事务框架的，2PC不行，tcc也不行，异步消息也不行。　　其实在上面电商平台与支付平台的例子中，涉及到

2018-01-30

9310

跟着实例学习ZooKeeper的用法： Barrier

系统架构 zookeeper

分布式Barrier是这样一个类：它会阻塞所有节点上的等待进程，知道某一个被满足，然后所有的节点继续进行。比如赛马比赛中，等赛马陆续来到起跑线前。一声令下，所有的赛马都飞奔而出。栅栏Barrier DistributedBarrier类实现了栅栏的功能。它的构造函数如下： public DistributedBarrier(CuratorFramework client, String barrierPath)Parameters: client - client barrierPath -

2018-01-30

6440

海量用户的实时互动直播云服务

分布式系统架构

实时互动直播架构的演进公众号推荐：公众号：VOA英语每日一听微信号: voahk01 可长按扫码关注，谢谢

2018-01-30

3.7K0

十分钟入门RocketMQ

系统架构 apache 架构设计

本文首先引出消息中间件通常需要解决哪些问题，在解决这些问题当中会遇到什么困难，Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决，规范中如何定义这些问题。然后本文将介绍RocketMQ的架构设计，以期让读者快速了解RocketMQ。消息中间件需要解决哪些问题？ Publish/Subscribe 发布订阅是消息中间件的最基本功能，也是相对于传统RPC通信而言。在此不再详述。 Message Priority 规范中描述的优先级是指在一个消息队列中，每条消息都有不同

2018-01-30

1.9K0

互联网业务场景下消息队列架构

系统架构网站建设

消息队列作为一种基础的抽象数据结构，被广泛应用在各类编程与系统设计中。同步VS异步通信的一个基本问题是：发出去的消息什么时候需要被接收到？这个问题引出了两个基础概念：“同步通信”和“异步通信”。根

2018-01-30

8530

大型电商互联网性能优化案例

网站建设系统架构

理论基础 The Theory 平台设计 Platform Design 架构思考 Architecture Takeaways

2018-01-30

7530

58同城数据库架构设计思路

数据库系统架构 sql 大数据

（1）可用性设计解决思路：复制+冗余副作用：复制+冗余一定会引发一致性问题保证“读”高可用的方法：复制从库，冗余数据，如下图带来的问题：主从不一致解决方案：见下文保证“写”高可用的一般方法

2018-01-30

2.2K0

PB级海量数据服务平台架构设计实践

大数据系统架构

基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，下面分别从这三个方面进行详细分析讨论：实践背景该数据服务平台架构设计之初，实践的背景可以从三个维度来进行说明：当前现状、业务需求、架构需求，分别如下所示：当前现状收集了当前已有数据、分工、团队的一些基本情况，如下所示：数据收集和基础数据加工有专门的Team在做，我们是基于收集后并进行过初步加工的基础数据，结合不同行业针对特定数据的需求进行二次加工的。数据二次加工

2018-01-30

2K0

视频直播平台的系统架构演化

系统架构存储

视频直播是指利用互联网及流媒体技术进行直播，视频因融合了图像、文字、声音等丰富元素，声形并茂，效果极佳，逐渐成为互联网的主流表达方式。初期

2018-01-30

2.5K0

日活跃数千万,10亿级APP大数据统计分析平台的架构演进

数据库 mongodb 系统架构大数据

美图拥有十亿级用户，每天有数千万用户在使用美图的各个产品，从而积累了大量的用户数据。随着 APP 的不断迭代与用户的快速膨胀，产品、运营、市场等越来越依赖于数据来优化产品功能、跟踪运营效果，分析用户

2018-01-30

2.3K0

携程用户数据采集与分析系统

大数据分布式系统架构

一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问

2018-01-30

2.7K0

携程如何从海量数据中构建精准用户画像?

大数据系统架构

用户画像作为“大数据”的核心组成部分，在众多互联网公司中一直有其独特的地位。作为国内旅游OTA的领头羊，携程也有着完善的用户画像平台体系。目前用户画像广泛用于个性化推荐，猜你喜欢等;针对旅游市场，携程更将其应用于“房型排序”“机票排序”“客服投诉”等诸多特色领域。本文将从目的，架构、组成等几方面，带你了解携程在该领域的实践。 1.携程为什么做用户画像首先，先分享一下携程用户画像的初衷。一般来说，推荐算法基于两个原理“根据人的喜好推荐对应的产品”“推荐和目标客人特征相似客人喜好的产品”。而这两条都离不开用

2018-01-30

2.5K0

分布式系统一致性保障方案总结

数据库系统架构

引言在互联网系统中，理想的情况下，肯定是希望系统能够同时满足“一致性”、“可用性”和“分区容忍性”。但是基于熟悉的CAP定律也好，还是BASE理论，我们知道，在实际情况中是不可能实现的。而在金融领域，一致性是最为关注的特性，任何情况下都必须满足一致性。关于CAP定律和BASE理论，本文不再介绍，有兴趣的同学可以自行百度一下。本文重点来阐述下关于一致性的方案，包括强一致性和最终一致性。而在互联网领域，很多情况下都是牺牲强一致性，来达到高可用性，系统往往只需要保证“最终一致性”，只要这个最终时间是在用

2018-01-30

1.1K0

Kafka详细设计及其生态系统

分布式系统架构 api

Kafka生态-Kafka Core，Kafka Streams，Kafka Connect，Kafka REST Proxy和Schema Registry Kafak的核心主要有Broker，Topic，日志，分区和集群。该核心还包括相关的工具，如MirrorMaker。 Kafka生态系统由Kafka Core，Kafka Streams，Kafka Connect，Kafka REST Proxy和Schema Registry组成。Kafka生态系统的大多数附件来自Confluent，而不是Apa

2018-01-30

2.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态