ceph-luminous-bluestore

ceph后端支持多种存储引擎，以插件化的形式来进行管理使用，目前支持filestore，kvstore，memstore以及bluestore

1）Firestore存在的问题是：
在写数据前需要先写journal，会有一倍的写放大；
若是另外配备SSD盘给journal使用又增加额外的成本；
filestore一开始只是对于SATA/SAS这一类机械盘进行设计的，没有专门针对SSD这一类的Flash介质盘做考虑。

2）而Bluestore的优势在于：
减少写放大；
针对FLASH介质盘做优化；
直接管理裸盘，进一步减少文件系统部分的开销。

对象可以直接存放在裸盘上，不需要任何文件系统接口。
BlueStore 直接使用一个原始分区，ceph对象将直接写在块设备上，不再需要任何的文件系统；
和osd一起进来的元数据将存储在 一个 名为 RocksDB 的键值对 数据库；

RocksDB ：存储 WAL 日志和元数据（omap）
BlueRocksEnv: 与RocksDB 交互的接口
BlueFS： 一个类似文件系统的 mini C++，使 rocksdb 生效，ENv 接口（存储 RocksDB 日志和 sst 文件）；
因为rocksdb 一般跑在一个文件系统的上层，所以创建了 BlueFS。
**RocksDB 存放的数据类型**
对象的元数据
write-ahead 日志
ceph omap  数据
allocator metadata(元数据分配器)：决定数据存放位置；此功能可插拔

第一个小分区（XFS或者ext4）,包括ceph files 
（init system descriptor,status,id,fsid,keyring 等）和RocksDB 文件
第二个分区是一个原始分区

每一部分都可以存放在不同的磁盘中，RocksDB WAL 和 DB 可以存放在不同的磁盘或者小分区中

首先ssh到各个存储节点，block.db使用的ssd分区,这里node1举例：
# ssh node1
# pvcreate /dev/vdb  # 创建pv, 这里使用的整块磁盘(与后面的分区对比),  pvs 查看pv列表
Physical volume "/dev/vdb" successfully created.
# vgcreate data_vg1 /dev/vdb  # 创建vg,  vgs查看vg列表
Volume group "data_vg1" successfully created
# lvcreate -n data_lv1 -L 1020.00m data_vg1 #创建lv,lvs查看lv列表, -n指定lv名称, -L指定lv的大小,需要小于或者等于vg的VSize
Logical volume "data_lv1" created.

---------------------------------------------
生产环境一块ssd磁盘会对应多块osd，所以这里也需要把ssd多个分区
# parted /dev/vdc 
(parted) mklabel gpt                                                      
(parted) mkpart primary 0% 25%   #因为测试，这里只做了一个占据磁盘25%容量的分区，实际情况根据osd数目划分相应的分区数
(parted) quit
# pvcreate /dev/vdc1  # 创建pv, 这里使用的是磁盘分区, pvs 查看pv列表
Physical volume "/dev/vdc1" successfully created.
# vgcreate block_db_vg1 /dev/vdc1  # 创建vg,  vgs查看vg列表
Volume group "block_db_vg1" successfully created
# lvcreate -n block_db_lv1 -L 1020.00m block_db_vg1  # 创建lv, lvs查看lv列表, -L指定lv的大小，需要小于或者等于 vg的VSize
Logical volume "block_db_lv1" created.

---------------------------------------------
# 不需要加--bluestore 参数，默认就是使用bluestore方式，data_vg1/data_lv1 是数据盘，block_db_vg1/block_db_lv1是block-db
管理节点执行：
ceph-deploy --overwrite-conf osd create node1 --data data_vg1/data_lv1 --block-db block_db_vg1/block_db_lv1
ceph-deploy --overwrite-conf osd create node2 --data data_vg1/data_lv1 --block-db block_db_vg1/block_db_lv1

#pvcreate /dev/sdb
  Physical volume "/dev/sdb" successfully created.
#vgcreate  ceph-pool /dev/sdb
  Volume group "ceph-pool" successfully created
#lvcreate -n osd0.wal -L 1G ceph-pool
  Logical volume "osd0.wal" created.
# lvcreate -n osd0.db -L 1G ceph-pool
  Logical volume "osd0.db" created.
# lvcreate -n osd0 -l 100%FREE ceph-pool
  Logical volume "osd0" created.

ceph-deploy osd create \
    --data ceph-pool/osd0 \
    --block-db ceph-pool/osd0.db \
    --block-wal ceph-pool/osd0.wal \
    --bluestore node1