腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云TStack专栏

最懂企业的私有云

专栏作者

161

文章

443180

阅读量

144

订阅数

Ceph快照爱你不容易系列 03：快照数据一致性浅析

缓存分布式存储编程算法

点击上方“腾讯云TStack”，关注我们，获取最in云端资讯和海量技术干货~ ●导语● 快照一般是指数据存储的某一时刻的状态记录，类似于给数据按下快门拍了一张照片，所以也叫snapshot。而存储系统的快照在云计算中广泛使用，比如块存储的快照。很多其他高级功能基本都要依赖快照来实现，比如备份、热迁移等。而对于快照，我们经常会问的一个问题就是快照的数据是不是完整的，会不会出现快照回滚之后数据丢失。其实这也就是我们常说的快照数据一致性问题。下面主要分以下几点进行讨论： (1) 一致性的分类 (2)

腾讯云TStack

2020-07-20

1.9K0

学会这3招，分分钟迁移业务繁忙虚拟机！

迁移分布式 openstack 编程算法 python

Writer:Cgm 醉里挑灯写bug；热爱旅游和美食。一、背景迁移一台内存密集型实例时，由于写内存的速度较快，脏页产生的速度一直比迁移虚拟机机，源目的虚拟机同步内存速度快，导致迁移一直完不成，结果超出了keystone token默认的1小时超时时间，最后导致虚拟机状态错误，迁移完不成。二、迁移超时导致token超时 1、原因 keystone token默认超时时间为1小时。虚拟机默认热迁移超时取消迁移时间为（非块迁移）：虚拟机内存GB * 默认800s 得出以下关系

腾讯云TStack

2020-05-20

2K0

Ceph快照爱你不容易系列 02：OSD启动慢了

网站分布式

一、问题最近有一个环境出现OSD启动很慢，要40多分钟，很奇怪，看一下osd的日志发现一直在刷类似下面的日志 2020-04-05 19:52:59.925 7fa86b863700 20 PGPool::update cached_removed_snaps [1~f5,f7~1,f9~7,101~1,103~12d,233~ea,31e~1,320~64,385~1e,3a4~16b,510~7e,58f~4e,5de~49,629~8,632~28,65b~31,68e~a,699~c

腾讯云TStack

2020-04-20

1.6K0

Ceph快照爱你不容易系列 01：虚拟机挂掉了

虚拟化网络安全分布式

一、问题最近遇到一个问题，一般云平台都有定时快照功能，快照的个数是有限制的，比如一个虚拟机同一时刻最多有5个快照，如果要创建第六个快照，需要先把时间最久的第一个快照删除，然后再创建新快照，我们的一个老测试平台中Ceph的版本是10.2.7，在创建快照的时候偶尔出现虚拟机挂掉，虚拟机qemu日志如下： block i/o error in device 'drive-virtio-disk0': Cannot send after transport endpoint shutdown (10

腾讯云TStack

2020-04-20

1.7K0

Harbor企业级实践丨20倍性能提升so easy!

分布式 node.js 对象存储存储

本文作者 / 阿杜玩Docker，玩K8s，玩Harbor 爱技术，爱运动，爱生活 “K8s＆云原生技术开放日”特邀讲师本文内容源于“K8s&云原生技术开放日”主题演讲——Harbor企业级实践。 Harbor作为腾讯企业云中心底层统一的镜像仓库管理组件，其性能很大程度上决定了上层容器应用的发布时延。为此，我们针对Harbor做了很多性能优化，使得镜像下载速度提升了20倍。本次分享围绕Harbor性能提升展开，依次介绍Harbor存储选型，Harbor高并发压测以及Harbor备份还原方案……

腾讯云TStack

2019-09-23

2.6K0

Ceph Bulestore磁盘空间分配初探

分布式编程算法缓存面向对象编程

本文作者 / spikehe(何诚) 爱好acg，小甲师兄的首席大弟子~ 在大佬中夹缝求生的实习boy 最近跟着小甲师兄优化Ceph块存储缓存，涉及IO映射和磁盘空间分配，想到Ceph Bluestore就是绕过标准文件系统，直接对裸盘空间进行管理的，因此学习了一下以做参考，同时结合源码对Bluestore整体做一个了解。 Ceph存储引擎简介 Ceph整体的存储层框架可以从图1中看到， IO请求在RBD等客户端发出，在Message层统一解析后会被OSD层分发到各个PG，每个PG都拥有一个队列，线

腾讯云TStack

2019-08-23

5.7K0

CentOS7.4安装ceph lio iSCSI gateway操作指导

流计算 Oceanus 分布式 linux centos

本文作者 / Wenda 关注存储以及周边生态，独立的存储系统生存太艰难，融入生态才体现价值。 1、背景我们Ceph作为后端存储时，这里只针对块存储空间的使用进行讨论。对于块存储空间，Linux用户的使用方法有多种，如：rbd map方式、rbd-nbd map方式、 rbd-fuse方式，但是对于Windows用户，如何使用呢？--- 答案：通过ISCSI访问。 2、说明针对块存储场景，iSCSI gateway的作用： 1) 采用ceph作为后端存储时，通过iSCSI协议为Wi

腾讯云TStack

2019-08-02

3.6K0

这个领域，腾讯云做到了国内第一

分布式微服务云计算虚拟化

七月才过去两天，好消息却不断。这不，我们刚中标长沙市城市超级大脑项目，就又拿了4项大奖，11项认证，成为国内最全的可信云认证厂商。看看具体是怎么回事。 7月2日，在中国信息通信研究院、中国通信标准化协会主办的“2019可信云大会”上，腾讯云一举获得了可信智能云、可信政务云（数字广东）、内容安全、政务云综合水平、多云管理平台、蓝鲸容器解决方案、微服务、智能云使能平台（机器学习）、以及云服务用户数据保护能力分级评估等领域11项可信云认证，并在技术和行业应用领域获得4项技术创新和行业应用大奖。在备受

腾讯云TStack

2019-07-05

1.4K0

分分钟get腾讯云TStack技术汇总！

sdn 分布式 tcp/ip

6月6日，芒种，仲夏初启。 2019年业已过半，本文带你快速回顾近半年的技术文章此文甚多干货，值得收藏。 Neutron的IPAM还可以这么玩！ 3月14日需要ip的地方，就有IPAM 阅读全文 > 如何把新垣结衣正确的“放在首页”？ 3月22日宝藏小姐姐教你调呀阅读全文 > 在linux系统上获取物理磁盘IO 4月18日如何搞定物理磁盘？阅读全文 > 小甲师兄陪你一起看Ceph|上篇 4月25日闭卷考试(x)请认真阅读阅读全文

腾讯云TStack

2019-06-10

1K0

听说你的harbor不能使用Ceph s3

分布式容器镜像服务容器 php

1.harbor harbor主要是用来存储容器镜像的开源项目，也就是所谓的容器镜像仓库，跟OpenStack的glance功能类似，不同的是后者存放的是虚拟机镜像。 harbor除了可以存储容器镜像，还可以存储chart，chart是容器环境下的应用打包格式，类似于centos下的rpm包，ubuntu下的debian包。下图是harbor的架构图这两种资源都需要放在存储介质上，镜像和chart可以分开用不同的存储，也可以使用相同的存储后端，这里主要讨论一下镜像的存储。从上图可以看到ha

腾讯云TStack

2019-05-31

3.9K2

开源黑客松，有我

安全 kubernetes 分布式 openstack 微信

2019年4月18日至20日，第九届中国开源黑客松活动在深圳鹏城实验室举办，这是一场持续3日，集结多位社区专家的技术分享大会。

腾讯云TStack

2019-05-16

8470

小甲师兄谈谈 Ceph中的不均衡性

分布式编程算法微信 jenkins

目前OpenStack后端存储广泛使用Ceph，而且一般使用的都是三副本，以空间换可靠性来保证存储数据的安全，由于数据冗余，真实可用容量最多也只能达到集群的1/3。不仅如此，Ceph集群有一个木桶效应，当某一个OSD容量达到full，会导致整个集群只能读不能写，此时Ceph集群的容量可能只使用了60%，系统已经提示不能再写入数据了。L版之后好像已经把影响范围缩小到pool级别。

腾讯云TStack

2019-05-16

3K0

聊聊腾讯云TStack上云Oracle的应用

oracle 分布式

能否利用TStack的计算、网络和存储能力，将Oracle运行在X86服务器，IP网络，云存储的“云化”架构上，去掉IOE架构中的I和E呢？

腾讯云TStack

2018-05-30

16.6K4

FileStore压缩存储（优化篇）

分布式存储

前言前面已经分析过RBD在Ceph的文件分布，就是将一个完整的块设备，映射成大小相同的数据块，然后通过Crush算法进行Map，最后存储在文件中。FileStore承担了文件的存储工作，其实就是将文件安装PG进展组织，然后分目录存储。原理和动机文件从filename依次会进行以下三个步骤进行,最后落到磁盘，如下： •filename -> object_id: filename通过hash函数直接转换成一个objectid •object_id -> pg: object_id其实是一个整数，通

腾讯云TStack

2018-03-21

2.5K0

RBD至FileStore之所见（原理篇）

前言我们知道，FileStore是目前Ceph版本的默认存储方式（后续社区准备采用BlueStore）。 RDB是我们虚拟机使用Ceph的常用方式，Ceph是一个基于对象存储的分布式文件系统，在Ceph中，所有的文件都是对象，本文探讨在Ceph中的RDB在Ceph的实现原理和映射方式。了解RBD的映射原理以后，对我们运维管理，数据恢复会有很大的帮助。操作过程 1.创建pool 1. [root@centos7 ceph]# ceph osd pool create test 64 64 2. poo

腾讯云TStack

2018-03-21

1.6K0

《大话 Ceph 》之 PG 那点事儿

腾讯云TStack

2017-11-06

8.7K8

Ceph 部署完整版 ( el7+jewel )

分布式存储 ntp

腾讯云TStack

2017-10-11

4.4K0

Ceph 快速部署 ( Centos7 + Jewel )

作者：徐凯这篇文章主要介绍了如何用三台虚拟机搭建一套Ceph分布式系统，步骤简洁但不失准确性。环境清理一小节可以解决绝大多数部署不成功的问题，最后一节介绍了常用的Ceph操作，希望能给刚搭建环境的

腾讯云TStack

2017-09-21

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态