腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Ceph对象存储方案
专栏成员
举报
64
文章
149146
阅读量
86
订阅数
订阅专栏
申请加入专栏
全部文章(64)
分布式(12)
网络安全(10)
https(10)
其他(9)
存储(6)
node.js(5)
http(5)
编程算法(5)
github(4)
api(4)
linux(4)
nginx(4)
数据迁移(4)
对象存储(3)
python(3)
windows(3)
php(2)
html(2)
git(2)
网站(2)
开源(2)
自动化(2)
缓存(2)
yum(2)
max(2)
object(2)
java(1)
c++(1)
c#(1)
go(1)
数据库(1)
sql(1)
access(1)
ruby on rails(1)
打包(1)
文件存储(1)
容器(1)
kubernetes(1)
面向对象编程(1)
rpc(1)
jenkins(1)
安全(1)
数据结构(1)
架构设计(1)
kafka(1)
虚拟化(1)
admin(1)
auto(1)
fastcgi(1)
hash(1)
host(1)
instance(1)
metadata(1)
pool(1)
response(1)
sh(1)
size(1)
thread(1)
部署(1)
磁盘(1)
服务(1)
集群(1)
权限(1)
数据同步(1)
搜索文章
搜索
搜索
关闭
ProjFS新手开发总结
https
网络安全
windows
c#
官方描述: Windows Projected File System (ProjFS) 允许名为“provider”的用户模式应用程序将备份数据存储中的分层数据投影到文件系统中,使其显示为文件系统中的文件和目录。例如,简单的提供程序可以将Windows注册表投影到文件系统中,使注册表项和值分别显示为文件和目录。更复杂的提供程序示例是用于虚拟化非常大的git存储库的VFS for Git。
用户1260683
2023-03-08
894
0
对象存储神器-rclone光速入门
https
网络安全
从下面的地址下载对应的二进制版本即可,之后安装在系统的/usr/local/bin目录下,或者其他用户指定的路径即可。 二进制:https://rclone.org/downloads/ 源码:https://github.com/rclone/rclone
用户1260683
2022-05-09
2.4K
0
在Windows上如何后台运行JuiceFS
windows
https
网络安全
node.js
c++
JuiceFS的Badger引擎改造完成以后,需要在Windows下面进行后台运行。因为现有的JuiceFS中还没有在Windows下的后台运行实现,所以需要通过其他途径解决。
用户1260683
2022-03-30
2.8K
0
JuiceFS 集成Grafana性能监控
node.js
http
https
github
网络安全
默认mount起来,会在客户端本地监听127.0.0.1:9567,这里修改了默认配置到127.0.0.1:9000,浏览器打开http://127.0.0.1:9000/metrics就能看到对应的数据
用户1260683
2022-01-24
692
0
Ceph 自动化四大天王
自动化
https
网络安全
分布式
每一个Ceph新手,都或多或少被文中提到的四大天(坑)王吊打过,或钢筋铁骨成为大神,或删库跑路沦为亡魂。因此有必要给大家早早普及一下这四大天王的手段,帮各位早脱苦海。本文建立在你已经基本了解Ceph的构架和基本原理,如果不熟悉的同学可以看下面内容
用户1260683
2021-12-04
1.1K
0
JuiceFS 源码阅读-中
编程算法
JuiceFS的锁实现,目前同时实现了BSD locks(对应Flock)和POSIX locks(对应Setlk)。细节上最大区别就是BSD locks只能以FD为最小控制单位(简单理解为单文件加锁,锁定的是文件描述符fd对应的文件),而POSIX locks可以在一个文件中以文件的offset+length的方式进行加锁(按文件内容进行范围加锁)。
用户1260683
2021-08-12
863
0
JuiceFS 源码阅读-上
数据结构
对象存储
存储
缓存
node.js
最近研究文件系统,把近期比较火的JuiceFS代码翻出来看了一下,研究为啥其性能要比CephFS要好。
用户1260683
2021-07-20
1.9K
0
Ceph 在 Windows平台下的支持
分布式
windows
github
https
虚拟化
整体构架来看还是比较简单,用户态还是基于librdb和librados,内核态通过实现WNDB.sys驱动,来实现块设备的远程映射。
用户1260683
2021-07-20
2.8K
1
基于Librados的流量治理方案
分布式
rpc
网络安全
需要自己实现一套类似RGW的对象存储服务,解耦元数据存储到独立的数据库服务(如TiDB),同时提供跨Ceph集群的数据读写能力,实现横向扩展和跨集群级别的容灾。
用户1260683
2021-05-13
474
0
Ceph最新的EC-CLAY插件调研-下
数据迁移
3个机柜,每个机柜15台机器,总共45台,需要在RBD场景下,找到成本、性能、数据可靠性的三者平衡点。
用户1260683
2021-01-04
1.3K
0
Ceph最新的EC-CLAY插件调研-上
编程算法
数据迁移
Clay Codes ( Clay Codes: Moulding MDS Codes to Yield an MSR Code ) 是FAST18 上提出的一种编码方法,文章地址,Clay 码能够将一般的MDS 码(最优容错)转化为具有最优修复的编码方法,具有以下性质:
用户1260683
2020-12-18
1.3K
0
cephfs扩容方案汇总
分布式
node.js
存储
kubernetes
建立完善的cephfs的扩容方案,满足cephfs用户数据存储空间在各种场景下的扩容需求。目前扩容只涉及到用户的数据存储,元数据部分因为空间使用率较低所以不需要考虑扩容。
用户1260683
2020-11-25
1.8K
0
小文件合并方案分享
node.js
https
网络安全
存储
编程算法
Facebook's Haystack design paper. https://www.usenix.org/legacy/event/osdi10/tech/full_papers/Beaver.pdf
用户1260683
2020-07-14
2.7K
0
隔山打牛之-借助nginx解析rgw日志
nginx
http
html
知识tips:一般情况下每一个客户端发往RGW的HTTP请求都会在其header里面包含authorization这个字段,该字段中包含了用户的Access_key信息,但是AWS2和ASW4两种签名格式各不相同。 背景:业务在访问RGW服务的时候会记录对应的log,对比nginx一类的专业产品,原生的RGW日志格式和内容都太过粗糙,如果去改动RGW代码虽然可以满足需求,但是后续格式变化又要批量更新RGW,对运维造成不便,而且从管理的角度来看这类改动收益较低。因此从充分解耦的思想出发,想借助nginx来实现日志格式的标准化管理,因此在RGW前端架设了一层nginx作为反向代理。但是原生的nginx日志是无法解析出每个HTTP请求的authorization字段的,因此有了这篇文章。
用户1260683
2020-02-25
1.1K
0
RGW百亿级对象存储扩容方案
编程算法
沿用现有的S3存储模型以及标准协议,将多个底层bucket(带权重)聚合成一个大的bigbucket,用户所有的操作都基于同一个bigbucket进行,不再需要进行bucket切换。
用户1260683
2019-12-26
2.3K
0
ceph v12版本直升v14
yum
分布式
一个RGW环境的更新,ceph 12.2.12升级到14.2.4流程,跳过中间的13版本。 注意:升级很危险,操作需谨慎。升级没有后悔药,本人不承担任何因升级及相关操作导致的任何数据丢失风险。
用户1260683
2019-12-05
1.7K
0
ceph admin keyring丢失fix
admin
部署
服务
之前部署的环境未按标准操作,Mon服务起来了,但是未保存keyring,执行命令的时候提示keyring找不到,于是有了这篇文章。
用户1260683
2019-11-06
2.7K
0
自建ceph yum源
yum
分布式
网站
新手小白教程之如何在内网环境构建yum源 准备好一台新安装好的CentOS7 机器,不要安装任何软件包。
用户1260683
2019-11-06
2.4K
0
基于RGW的多媒体处理框架
kafka
nginx
http
php
网站
基于RGW的多媒体处理框架 背景 业务需要在原有RGW的服务基础上加上对多媒体类资源的处理,比如图片resize、视频转码等。参考过多个厂家的设计,发现对方的多媒体类处理都是在URL里面加上query
用户1260683
2019-11-06
1.1K
0
Ceph安全体系概览
http
https
api
网络安全
安全
安全是整个存储必不可少的一环,但是很少有人能够比较全面的总结一下Ceph的安全体系,于是老司机在这里“鬼话连篇”。
用户1260683
2019-07-30
2.4K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档