首页
学习
活动
专区
工具
TVP
发布

架构之美

专栏作者
195
文章
198080
阅读量
63
订阅数
奈学科技技术开放日 | 《Hadoop3纠删码容错技术原理和实战》等你免费学!
好的开始等于成功的一半,2022给自己一个美好的期许! 为了感谢2021年广大技术人对奈学科技的关注和支持,在2022新年开篇之际,奈学科技的核心教研团队将于1月11日特别推出【奈学科技技术开放日】免费体验学习活动,以高含金量的智慧福利倾情回馈广大学员! 在大数据领域,不管你所在的企业部署使用的是离线数仓、实时数仓还是数据湖,Hadoop作为基础支撑技术,是广大技术人必须掌握的发展技能。 数智化时代,海量数据的存储——如何保证数据“不丢、不漏、不重、安全”地存储就成了不少企业面临的重大考验。 而Hadoop
孙玄@奈学教育
2022-03-03
6200
基于 DAG 的任务编排框架/平台
最近在做的工作比较需要一个支持任务编排工作流的框架或者平台,这里记录下实现上的一些思路。
孙玄@奈学教育
2021-09-17
4.3K0
深入浅出 TiDB 框架
TiDB主要分为3个核心组件:TiDB Server ,PD Server 和TiKV Server,还有用于解决用户复杂OLAP需求的TiSpark组件。部署一个单机版的TiDB,这三个组件都需要启动。如果用生产环境,需要使用Ansible部署TiDB集群。
孙玄@奈学教育
2021-07-06
6440
大白话彻底讲透 HBase Rowkey 设计和实现!
大家都知道 HBase 由于它存储和读写的高性能,在 OLAP 即时分析中发挥着非常重要的作用,而 RowKey 作为 HBase 的核心知识点,其设计势必会影响到数据在 HBase 中的分布,甚至会影响我们查询的效率,可以说 RowKey 的设计质量关乎了 HBase 的质量。
孙玄@奈学教育
2021-02-08
1.4K0
一文彻底揭秘操作系统之「零拷贝」!
零拷贝(Zero-Copy)是一个大家耳熟能详的概念,那么,具体有哪些框架会使用到零拷贝呢?在思考这个问题之前,让我们先一起探寻一下零拷贝机制的底层原理。
孙玄@奈学教育
2020-12-11
9930
万亿级企业MySQL海量存储分库分表设计实践
互联网业务往往使用MySQL数据库作为后台存储,存储引擎使用InnoDB。我们针对互联网自身业务特点及MySQL数据库特性,讲述在具体业务场景中如何设计表和分表。本文从介绍MySQL相关基础架构设计入手,并结合企业实际案例介绍分表和索引的设计实战技巧。
孙玄@奈学教育
2020-11-25
8180
迎接双11,深度剖析高并发数据库Sharding的道与术
在服务器后端技术人员的成长路线上,分片(Sharding)思想的理解和把握是绕不过去的门槛,而数据库分库分表可能是讲述拆分思想最好的教材,大部分后端技术人员都会在成长过程中遇到数据库分库分表的问题。
孙玄@奈学教育
2020-11-17
2.8K0
观书有感:领域驱动设计的想法
领域驱动设计,方法论是为了解决软件核心复杂性的。也就是说软件业务越来越复杂了,领域驱动设计可以让事情变得简单。而实际情况是:领域驱动设计的门槛很高,没有很深厚的面向对象编码能力几乎不可能实践成功。
孙玄@奈学教育
2020-09-28
8620
MySQL引擎和视图的点
存储引擎Storage Engine:MySQL中的数据、索引以及其他对象是如何存储的,是一套文件系统的实现。
孙玄@奈学教育
2020-08-27
9780
世界最优秀的分布式文件系统架构演进之路
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
孙玄@奈学教育
2020-02-13
7180
「分布式系统前沿技术」专题:Pulsar 的设计哲学
Sijie Guo, StreamNative 联合创始人,Apache BookKeeper 和 Apache Pulsar PMC 成员和 Committer。之前是 Twitter 消息组的技术负责人,与他人共同创建了 Apache DistributedLog。加入 Twitter 之前,他曾在 Yahoo!从事推送通知基础架构工作。
孙玄@奈学教育
2020-01-03
8770
「分布式系统前沿技术」专题:存储之数据库篇
分布式系统专家,架构师,开源软件作者。PingCAP 联合创始人兼 CTO,知名开源项目 Codis / TiDB / TiKV 主要作者,曾就职于微软亚洲研究院,网易有道及豌豆荚。2015 年创业,成立 PingCAP,致力于下一代开源分布式数据库的研发工作,擅长分布式存储系统设计与实现,高并发后端架构设计。
孙玄@奈学教育
2020-01-03
1.1K0
全方位剖析边缘计算架构设计以及应用实践
三者之间成熟度最高的也就是云计算,在云计算的发展过程中发酵出边缘计算(Edge Computing),甚至碰撞出来一个雾计算(Fog Computing)。
孙玄@奈学教育
2019-11-06
5400
基于大中台小前台模式设计高并发电商架构
公司执行好大中台小前台模式,首先需要进行组织架构调整,比如阿里巴巴大中台小前台组织架构(如图3)如下:中台事业群和小前台事业群。其中中台事业群包括:搜索事业部、共享业务事业部(用户、商品、交易等)、数据技术及产品部(OLAP)、基础架构事业部等;小前台事业群包括电商事业群、蚂蚁金服集团、阿里云事业群、菜鸟网络、大文娱集团、阿里妈妈等其他。
孙玄@奈学教育
2019-11-06
2K0
五分钟学会分布式事务
从概念开始 我们先从事务的定义开始。事务即一系列读存动作被当作一个执行单元,这些动作要么全成功,要么全失败,执行动作的过程中保证数据的隔离性和一致性。 我们抛离数据库这个特定场景,先假设一个数据存储设
孙玄@奈学教育
2018-07-03
5630
机器学习的平台化发展趋势
机器学习在经过近些年的野蛮生长之后,其有效性已经被无数成功应用所验证,在这一点上已经不需要更多证明。
孙玄@奈学教育
2018-07-03
3.4K3
MongoDB在58同城的应用实践
58同城作为中国最大的生活服务平台,涵盖了房产、招聘、二手、二手车、黄页等核心业务。58同城发展之初,大规模使用关系型数据库(SQL Server、MySQL等),随着业务扩展速度增加,数据量和并发量演变的越来越有挑战,此阶段58的数据存储架构也需要相应的调整以更好的满足业务快速发展的需求。MongoDB经过几个版本的迭代,到2.0.0以后,变的越来越稳定,它具备的高性能、高扩展性、Auto-Sharding、Free-Schema、类SQL的丰富查询和索引等特性,非常诱惑,同时58同城在一些典型业务场景下
孙玄@奈学教育
2018-07-03
2.3K1
【SDCC讲师专访】58同城孙玄:一切抛开业务的架构设计都是耍流氓
本期我们采访的讲师是来自58同城高级系统架构师&技术负责人孙玄,他是58的技术委员会架构组主任,产品技术学院优秀讲师,代表58同城参与多次对外演讲。 58同城高级系统架构师,技术委员会架构组主任,产品技术学院优秀讲师,58同城即时通讯、C2C技术负责人,擅长架构设计,负责58核心系统的架构以及优化工作,满足百亿级系统吞吐需求。分布式系统存储专家,2007年开始从事大规模高性能分布式存储系统架构设计实现工作。 涉及自主研发分布式存储系统、MongoDB、MySQL、Memcached、Redis等。毕业于浙江
孙玄@奈学教育
2018-07-03
8630
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档