首页
学习
活动
专区
工具
TVP
发布

IT大咖说

专栏成员
915
文章
1590271
阅读量
99
订阅数
为什么工作三年的程序员还不懂APM与调用链技术?
◆ 服务调用链技术 服务调用链技术是微服务架构中对服务进行监控的重要环节,它可以帮助我们清晰地了解当前系统的运行情况,同时帮助我们定位问题,解决分布式网络下服务交互追踪的问题。 ◆ APM与调用链技术 在单体应用架构拆分为微服务架构后,一个用户请求会跨网络依次调用不同的服务节点进行分布式交互处理,最后将结果汇总处理,再将结果返回给用户。那么在整个处理的链条中,如果有任何一个节点出现了延迟或者超时等问题,都有可能导致最终结果出现异常。在很多场景下,一个功能可能需要多个技术团队、多种技术栈、多个跨地域网络
IT大咖说
2022-08-26
4300
AWS Dynamo系统设计概念,16页改变世界的论文
了解如何在你的系统设计中使用Dynamo系列、AWS DynamoDB、Cassandra和SimpleDB ◆  在我们开始之前的快速介绍 早在2004年,亚马逊正在运行一个大型的分布式Oracle数据库集群。想象一下,大量的服务器,运行大量笨重的闭源专有软件,并没有真正关注规模和可用性。他们在当时的规模下挑战了商业数据库的极限。 重要的是要了解这是个不同的时代。分布式系统并不常见,关系型数据库是唯一的主要OLTP数据库,最重要的是,当时没有足够的人或数据在线。 看到互联网在过去十年或二十年里的爆炸性
IT大咖说
2022-07-18
1.6K0
Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘
◆ 一、CK 分布式表和本地表 (1)CK是一个纯列式存储的数据库,一个列就是硬盘上的一个或多个文件(多个分区有多个文件),关于列式存储这里就不展开了,总之列存对于分析来讲好处更大,因为每个列单独存储,所以每一列数据可以压缩,不仅节省了硬盘,还可以降低磁盘IO。 (2)CK是多核并行处理的,为了充分利用CPU资源,多线程和多核必不可少,同时向量化执行也会大幅提高速度。 (3)提供SQL查询接口,CK的客户端连接方式分为HTTP和TCP,TCP更加底层和高效,HTTP更容易使用和扩展,一般来说HTTP足矣,社
IT大咖说
2022-03-25
3.5K0
Polars:一个正在崛起的新数据框架
Polar的标志 表列数据是任何数据科学家的面包和主食。几乎所有的数据湖和仓库都使用数据表格来处理数据,并提取关键特征进行处理。最常用的数据制表方法之一是Dataframes。它们在收集和清理来自限定文本文件、电子表格和数据库查询的数据方面提供了灵活性。最常用的数据框架是Pandas,这是一个python包,对于有限的数据来说,它的表现足够好。然而,如果数据太大,Pandas无法处理,但对Spark等分布式文件管理系统来说又太小,怎么办?Polars试图弥补这一差距。 Polars是用Rust编写的,以获得
IT大咖说
2022-03-04
4.9K0
亿级流量架构之服务器扩容思路及问题分析
◆ 为什么要扩容 说人话就是, 无论如何优化性能,能达到的最大值是一定的,对于一个用户量大的应用,可以对服务器进行各种优化,诸如限流、资源隔离,但是上限还是在那里,这时候就应该改变我们的硬件,例如使用
IT大咖说
2021-12-06
8120
一篇读懂什么是缓存穿透击穿雪崩,分布式锁
最简单的可以把数据放入一个map(本地缓存),单体应用时没有什么问题,但是当系统为分布式系统时就会出现很多问题,每一个服务都有一个自己的缓存,就会出现数据不一致等等问题,为了解决这些问题,我们使用统一的一个缓存
IT大咖说
2021-09-08
3700
2021年大数据Kafka:消息队列和Kafka的基本介绍
消息队列,英文名:Message Queue,经常缩写为MQ。从字面上来理解,消息队列是一种用来存储消息的队列 。来看一下下面的代码
IT大咖说
2021-08-10
1.1K0
拒绝躺平,如何使用AOP的环绕通知实现分布式锁
如何在分布式环境下,像用synchronized关键字那样使用分布式锁。比如开发一个注解,叫@DistributionLock,作用于一个方法函数上,每次调方法前加锁,调完之后自动释放锁。
IT大咖说
2021-07-19
6580
你能读懂分布式系统开发实战:数据一致性,CAP常见模型吗?
对于数据库而言,事务的ACID这4个特性保证了一个事务的正确性。其中,一致性特征是指在事务开始之前和结束之后数据完整性不被破坏。对于集中式系统而言,实现数据的一致性是容易的,毕竟依赖于数据库自然就实现了ACID特征。然而,在分布式系统中,要想保证数据的一致性就没有那么简单了。
IT大咖说
2021-07-19
9840
超全面的权限系统设计方案!
权限管理是所有后台系统的都会涉及的一个重要组成部分,主要目的是对不同的人访问资源进行权限的控制,避免因权限控制缺失或操作不当引发的风险问题,如操作错误,隐私数据泄露等问题。
IT大咖说
2021-07-19
2.3K0
分布式理论
网络分区(脑裂):网络之间不连通,导致分布式系统出现局部小集群,小集群间网络异常,小集群内部网路正常。
IT大咖说
2021-04-23
3890
秒杀场景下如何保证数据一致性?就这个问题我给出了最详细的方案
从字面意思理解,所谓秒杀,就是在极短时间内,大量的请求涌入,处理不当时容易出现服务崩溃或数据不一致等问题的高并发场景。
IT大咖说
2021-04-08
9090
架构解密分布式到微服务:架构实践DIY一个有难度的分布式集群
本节的目标,是不依赖任何分布式框架和中间件,全程“手工”设计、开发一个有难度的分布式集群MyCluster,以提升自我的硬核架构能力,具体的技术要求如下。
IT大咖说
2021-04-08
3890
「SpringCloud」搭建企业级开发框架(一)架构说明
https://www.toutiao.com/i6924236213645820419/
IT大咖说
2021-02-24
1.1K0
Sci-Hub重生了,这回用上了分布式网络
在网站域名屡次被撤销之后, Sci-Hub 创始人 Alexandra Elbakyan 在分布式域名网络 Handshake 上注册了新的网站。
IT大咖说
2021-01-27
6090
Mysql索引:图文并茂,深入探究索引的原理和使用
相信每个IT界大佬,简历上少不了Mysql索引这个关键字,但如果被问起来,你能说出多少干货呢?先看下面几个问题测试一下吧:
IT大咖说
2020-12-29
8950
基于Skywalking实现分布式追踪与监控
SkyWalking是一个开源的可观测分析平台(Observability Analysis Platform), 用于从服务和云原生基础设施收集, 分析, 聚合及可视化数据。SkyWalking 提供了一种简便的方式来清晰地观测分布式系统, 甚至横跨多个云平台。SkyWalking 更是一个现代化的应用程序性能监控(Application Performance Monitoring)系统, 尤其专为云原生、基于容器的分布式系统设计。
IT大咖说
2020-11-04
1.3K0
Telegraf+Influxdb+Grafana 轻量级监控系统部署
本方案中采用 数据存储(InfluxDB),数据采集(Telegraf),数据展示(Grafana )。
IT大咖说
2020-08-11
4.2K0
分布式服务链路追踪技术分析及对比
在分布式服务时代,服务之间的请求域调用不再是简单的直连方式,注册中心的出现,让服务治理更加便利,也对服务之间的链路追踪提出了更高的要求。
IT大咖说
2020-02-21
4.3K0
面试官问:集群部署时,分布式 session 如何实现?
面试官问了你一堆 dubbo 是怎么玩儿的,你会玩儿 dubbo 就可以把单块系统弄成分布式系统,然后分布式之后接踵而来的就是一堆问题,最大的问题就是分布式事务、接口幂等性、分布式锁,还有最后一个就是分布式 session。当然了,分布式系统中的问题何止这么一点,非常之多,复杂度很高,但是这里就是说下常见的几个,也是面试的时候常问的几个。
IT大咖说
2020-02-21
3580
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档