对接ceph存储

存储是用于存储实例磁盘文件（系统盘、数据盘、系统盘快照、数据盘快照、系统盘备份、数据盘备份等）和镜像文件，目前魔方云支持两种存储类型，本地存储类型和 Ceph 存储类型

• 本地存储：使用物理机（节点）的硬盘进行存储，添加方法参照 [添加本地存储](/docs/魔方云/4. 磁盘与存储/添加本地存储)

• Ceph 存储：采用分布式块存储方式；除魔方官方部署的 ceph 外，外部 ceph 同样适用

注意事项

1、节点对接 ceph，需要在已经部署了魔方云脚本的节点服务器上与 ceph 服务器进行关联，再将 ceph 相关信息添加到存储列表

2、部署的节点，需要提前添加到节点管理列表，详情参考[添加节点](/docs/魔方云/2. 区域节点管理/添加节点)，否则添加存储时无法选择该节点[/docs/魔方云/1. 环境部署/1.1安装魔方云KVM加强版](/docs/魔方云/1. 环境部署/1.1安装魔方云KVM加强版)

操作步骤

注意：如果是 centos 8 stream 直接从第五步开始

1、SSH登陆已经部署魔方云脚本的节点服务器（节点部署参考[环境部署](/docs/魔方云/1. 环境部署/1.1安装魔方云KVM加强版)）

2、查看节点内核版本，如果内核版本小于 5.4，则需要进行内核升级，内核版本 5.4+，则忽略此步骤

①查询内核版本名命令：uname -a

②升级内核命令

1）yum -y install http://mirror.cloud.idcsmart.com/cloud/RPMS/kernel-lt-5.4.118-1.el7.elrepo.x86_64.rpm
2）grub2-set-default 'CentOS Linux (5.4.118-1.el7.elrepo.x86_64) 7 (Core)'

3、关闭 SELinux

① sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config
② setenforce 0

4、重启服务器

reboot

5、内网端口加入信任列表

firewall-cmd --zone=trusted --add-interface=em1 --permanent && firewall-cmd --reload

6、配置 ceph 配置文件，将“ceph.client.admin.keyring”和“ ceph.conf”（部署完 ceph 会有这 2 个文件）文件上传到计算节点的 /etc/ceph 目录，操作如下：

SSH到已关联到ceph的老节点，分别执行下方命令：（假设节点IP为：192.168.X.X）

①scp /etc/ceph/ceph.client.admin.keyring root@192.168.X.X:/etc/ceph
②scp /etc/ceph/ceph.conf root@192.168.X.X:/etc/ceph

**注意：**ceph.conf 拷贝到计算节点目录下后，需检查文件内的路径配置是否正确，如下方截图

7、关联 libvirt 到 ceph

fsid=$(ceph fsid)
cat > /etc/ceph/secret.xml <<EOF
<secret ephemeral='no' private='no'>
<uuid>$fsid</uuid>
<usage type='ceph'>
<name>client.admin secret</name>
</usage>
</secret>
EOF
virsh secret-define --file /etc/ceph/secret.xml
virsh secret-set-value --secret $fsid --base64 $(ceph auth get-key client.admin)

==========报错解析及处理===========

如上图内容，需要先结束当前的绑定，再重复运行上述的脚本内容

virsh secret-list     //查询当前已关联的ceph，如果与实际的ceph id不同，
virsh secret-undefine 错误id       //删除关联

8、进入节点目录/etc/ceph/，获取 ceph 信息

cd /etc/ceph/
cat ceph.client.admin.keyring
cat ceph.conf

9、进入魔方云管理后台-->存储管理页面，点击添加

10、填写存储信息，存储类型选择 ceph，并将”步骤 10”获取到的 ceph 信息填入即可

11、如果有其他节点也关联了该 ceph 存储，则点击修改按钮，勾选目标节点即可