腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
物流IT圈
专栏成员
举报
280
文章
541263
阅读量
99
订阅数
订阅专栏
申请加入专栏
全部文章(280)
微服务(41)
数据库(35)
sql(34)
编程算法(32)
api(23)
电商(18)
企业(18)
分布式(18)
it(14)
大数据(12)
java(11)
物联网(11)
费用中心(10)
网站(10)
http(9)
缓存(9)
运维(8)
云数据库 SQL Server(7)
云数据库 Redis(7)
打包(7)
存储(7)
开源(7)
网络安全(7)
数据分析(7)
spring(6)
https(6)
系统架构(6)
供应链(6)
神经网络(5)
容器(5)
erp(5)
rpc(5)
数据挖掘(4)
机器学习(4)
nosql(4)
github(4)
深度学习(4)
消息队列 CMQ 版(4)
腾讯云测试服务(4)
uml(4)
安全(4)
机器人(4)
架构设计(4)
产品(4)
产品经理(4)
管理(4)
系统(4)
其他(3)
硬件开发(3)
git(3)
apache(3)
nginx(3)
文件存储(3)
devops(3)
压力测试(3)
jvm(3)
sql server(3)
微信(3)
数据可视化(3)
信息流(3)
云计算(3)
kafka(3)
app(3)
excel(3)
系统设计(3)
需求分析(3)
php(2)
python(2)
javascript(2)
go(2)
html(2)
嵌入式(2)
mvc(2)
jar(2)
搜索引擎(2)
linux(2)
unix(2)
访问管理(2)
短信(2)
图像处理(2)
金融(2)
数据安全(2)
工业物联(2)
serverless(2)
数据迁移(2)
hadoop(2)
mybatis(2)
tcp/ip(2)
socket编程(2)
windows(2)
5g(2)
验证码(2)
数据集成(2)
gsp(2)
产品设计(2)
软件(2)
负载均衡(1)
人脸识别(1)
比特币(1)
数字货币(1)
自动驾驶(1)
tensorflow(1)
ios(1)
xcode(1)
c 语言(1)
bash(1)
servlet(1)
vue.js(1)
react(1)
node.js(1)
xml(1)
css(1)
jquery(1)
json(1)
单片机(1)
symfony(1)
oracle(1)
access(1)
flask(1)
sqlalchemy(1)
ide(1)
lucene/solr(1)
负载均衡缓存(1)
apt-get(1)
tornado(1)
laravel(1)
批量计算(1)
云直播(1)
短视频(1)
API 网关(1)
SSL 证书(1)
数据加密服务(1)
物联网通信(1)
mongodb(1)
人工智能(1)
微服务与微计算(1)
日志数据(1)
智慧物流(1)
codeigniter(1)
自动化(1)
黑客(1)
爬虫(1)
spark(1)
无人驾驶(1)
hive(1)
面向对象编程(1)
spring boot(1)
推荐系统(1)
seo(1)
自动化测试(1)
cdn(1)
aop(1)
dubbo(1)
spring cloud(1)
数据处理(1)
数据结构(1)
hbase(1)
腾讯云开发者社区(1)
任务调度(1)
虚拟化(1)
mvcc(1)
utf8(1)
测试策略(1)
es(1)
数据库管理(1)
应用安全开发(1)
Elasticsearch Service(1)
智能推荐平台(1)
项目管理(1)
adapter(1)
axure(1)
bug(1)
dashboard(1)
ddd(1)
device(1)
frequency(1)
host(1)
layer(1)
ps(1)
saas(1)
sap(1)
sh(1)
usb(1)
表单(1)
产品运营(1)
工作(1)
基础(1)
监控(1)
解决方案(1)
开发(1)
连接(1)
模型(1)
配置(1)
设计(1)
数据(1)
算法(1)
同步(1)
效率(1)
异常(1)
异常处理(1)
原型(1)
搜索文章
搜索
搜索
关闭
如何正确理解CAP理论?
nosql
分布式
数据库
大数据
sql
在大数据领域,被业界广泛谈及的CAP理论存在着一些关键性的认知误区,而只有全面地考察与分析分布式环境中的各种场景,我们才能真正正确地理解它。
物流IT圈
2019-11-21
704
0
面试官:给我讲一下分库分表方案
nosql
数据库
sql
一、数据库瓶颈 1、IO瓶颈 2、CPU瓶颈 二、分库分表 1、水平分库 2、水平分表 3、垂直分库 4、垂直分表 三、分库分表工具 四、分库分表步骤 五、分库分表问题 1、非partition key的查询问题(水平分库分表,拆分策略为常用的hash法) 2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法) 3、扩容问题(水平分库分表,拆分策略为常用的hash法) 六、分库分表总结 七、分库分表示例
物流IT圈
2019-08-20
1.4K
0
数据库之分库分表 - 垂直?水平?
nosql
数据库
sql
第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询时会产生大量的IO,降低查询速度 -> 分库和垂直分表。
物流IT圈
2019-07-16
741
0
为什么大部分NoSQL不提供分布式事务?
数据库
hbase
mongodb
nosql
sql
像MongoDB, Cassandra, HBase, DynamoDB, 和 Riak这些NoSQL缺乏传统的原子事务机制,所谓原子事务机制是可以保证一系列写操作要么全部完成,要么全部不会完成,不会发生只完成一系列中一两个写操作;因为数据库不提供这种事务机制支持,开发者需要自己编写代码来确保一系列写操作的事务机制,比较复杂和测试。 这些NoSQL数据库不提供事务机制原因在于其分布式特点,一系列写操作中访问的数据可能位于不同的分区服务器,这样的事务就变成分布式事务,在分布式事务中实现原子性需要彼此协调,而协调是耗费时间的,每台机器在一个大事务过程中必须依次确认,这就需要一种协议确保一个事务中没有任何一台机器写操作失败。 这种协调是昂贵的,会增加延迟时间,关键问题是,当协调没有完成时,其他操作是不能读取事务中写操作结果的,这是因为事务的all-or-nothing原理导致,万一协调过程发现某个写操作不能完成,那么需要将其他写操作成功的进行回滚。针对分布式事务的分布式协调对整体数据库性能有严重影响,不只是吞吐量还包括延迟时间,这样大部分NoSQL数据库因为性能问题就选择不提供分布式事务。 MongoDB, Riak, HBase, 和 Cassandra提供基于单一键的事务,这是因为所有信息都和一个键key有关,这个键是存储在单个服务器上,这样基于单键的事务不会带来复杂的分布式协调。 那么看来扩展性性能和分布式事务是一对矛盾,总要有取舍?实际上是不完全是,现在完全有可能提供高扩展的性能同时提供分布式原子事务。 FIT是这样一个在分布式系统提供原子事务的策略,在fairness公平性, isolation隔离性, 和throughput吞吐量(简称FIT)可以权衡。 一个支持分布式事务的可伸缩分布式系统能够完成这三个属性中两个,公平是事务之间不会相互影响造成延迟;隔离性提供一种幻觉好像整个数据库只有它自己一个事务,隔离性保证当任何同时发生的事务发生冲突时,能够保证彼此能看到彼此的写操作结果,因此减轻了程序员为避免事务读写冲突的强逻辑推理要求;吞吐量是指每单元时间数据库能够并发处理多少事务。 FIT是如下进行权衡: 1.保证公平性fairness 和隔离性isolation, 但是牺牲吞吐量 2.保证公平性fairness和吞吐量, 牺牲隔离性isolation 3.保证隔离性isolation和吞吐量throughput, 但是牺牲公平性fairness. 牺牲公平性:放弃公平性,数据库能有更多机会降低分布式事务的成本,主要成本是分布式协调带来的,也就是说,不需要在每个事务过程内对每个机器都依次确认事务完成,这样排队式的确认commit事务是很浪费时间的,放弃公平性,意味着可以在事务外面进行协调,这样就只是增加了协调时间,不会增加互相冲突事务因为彼此冲突而不能运行所耽搁的时间,当系统不需要公平性时,需要根据事务的优先级或延迟等标准进行指定先后执行顺序,这样就能够获得很好的吞吐量。 G-Store是一种放弃公平性的 Isolation-Throughput 的分布式key-value存储,支持多键事务(multi-key transactions),MongoDB 和 HBase在键key在同样分区上也支持多键事务,但是不支持跨分区的事务。 总之:传统分布式事务性能不佳的原因是确保原子性(分布式协调)和隔离性同时重叠,创建一个高吞吐量分布式事务的关键是分离这两种关注,这种分离原子性和隔离性的视角将导致两种类型的系统,第一种选择是弱隔离性能让冲突事务并行执行和确认提交;第二个选择重新排序原子性和隔离性机制保证它们不会某个时间重叠,这是一种放弃公平的事务执行,所谓放弃公平就是不再同时照顾原子性和隔离性了,有所倾斜,放弃高标准道德要求就会带来高自由高效率。
物流IT圈
2019-07-16
1.8K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档