Ceph 管理实战笔记
本文系统梳理 Ceph 分布式存储的定位、架构、部署、池管理、认证授权,以及块存储 RBD、对象存储 RGW、文件存储 CephFS 的实战流程。全文按“概念—架构—命令实操—对比总结”展开,重点保留 RADOS/CRUSH 数据主线、cephx 认证主线、块/对象/文件三种访问方式主线。实验环境以 cephadm 容器化部署为例,文中 IP、域名、密钥均为实验环境取值,实际操作请替换。
0. 全局视角:Ceph 是什么
Ceph 是一款开源、分布式、软件定义存储 SDS,具备高可用、可扩展、易用等特点,用于存储海量数据。Ceph 可部署在通用 x86 或 ARM 服务器上,并支持同一集群混用 x86 和 ARM 主机。
Ceph 的核心思路:所有数据以对象形式存储在 RADOS 存储池中;客户端根据 CRUSH 算法自行计算对象位置并直接读写;集群可自动扩展、再平衡和恢复数据。
| 能力 | 说明 |
|---|---|
| 去中心化 | 客户端通过 CRUSH 自行计算对象位置,不依赖中心元数据节点定位数据 |
| 统一存储 | 同一集群同时提供块存储 RBD、对象存储 RGW、文件存储 CephFS |
| 自愈与再平衡 | OSD 故障后自动复制恢复,扩容后自动再平衡 |
| 通用硬件 | 可运行在 x86/ARM 通用服务器上 |
一条主线串起 Ceph:客户端先向 MON 获取集群映射 cluster map → 计算 PG ID → 用 CRUSH 算出负责的 OSD 集合 → 直接与主 OSD 通信读写对象 → OSD 负责副本、恢复和再平衡。
一、Ceph 介绍与架构
1.1 存储中的用户角色
| 角色 | 职责 |
|---|---|
| 存储管理员 | 安装、配置、维护 Ceph 集群;培训架构师;提供复本、备份、灾难恢复;通过基础设施即代码实现自动化 |
| 存储操作员 | 协助日常操作,主要使用 Ceph Dashboard GUI 查看和响应告警、统计,更换故障存储设备 |
| 其他角色 | 云操作员、自动化工程师、应用开发人员 DevOps、服务管理员、部署工程师、应用架构师、基础架构架构师、数据中心操作员 |
不同组织中角色实施不同:电信/云服务商中“云操作员、存储操作员、基础架构架构师”通常只消费存储不维护;银行金融等场景所有角色由内部人员承担;小规模组织一个人可能承担多个角色。
1.2 技术优势与历史
技术优势:
- 采用 RADOS 系统,将所有数据作为对象存储在存储池中。
- 去中心化:客户端根据 CRUSH 算法自行计算对象存储位置,再进行数据读写。
- 集群可自动扩展、数据再平衡、数据恢复。
发展简史:
| 时间 | 事件 |
|---|---|
| 2003 年 | Sage Weil 在圣克鲁兹加利福尼亚大学开发 Ceph,初始原型约 4 万行 C++ 代码 |
| 2006 年 | 遵循 LGPL 协议开源 |
| 2012 年 | Sage Weil 在 DreamHost 资助下成立 Inktank 公司提供专业服务 |
| 2014 年 | Inktank 并入红帽 Red Hat,成为 Ceph 存储 |
| — | Ceph 与 Linux 内核、SUSE、OpenStack、CloudStack 等深度整合 |
1.3 上游版本
Ceph 采用代号 + 版本号发布机制,主要 LTS 版本如下:
| 版本 | 代号 | 发布时间 |
|---|---|---|
| 16.2.x | Pacific | 2021-03 |
| 17.2.x | Quincy | 2022-04 |
| 18.2.x | Reef | 2023-08 |
| 19.2.x | Squid | 2024-09 |
版本格式 x.y.z 含义:
| 字段 | 含义 |
|---|---|
| x | 发行周期,如 13 表示 Mimic |
| y | 发行类型:x.0.z 开发版、x.1.z 候选版、x.2.z 稳定版 |
| z | 发行号 |
红帽企业版 Ceph RHCS 与社区 LTS 版本生命周期一致,并提供 36 个月支持。
1.4 架构组件
| 组件 | 全称 | 职责 |
|---|---|---|
| MON | Monitor 监控器 | 维护集群状态映射,帮助其他守护进程协调 |
| OSD | Object Storage Device 对象存储设备 | 存储数据,处理数据复制、恢复和重新平衡 |
| MGR | Manager 管理器 | 通过浏览器 Dashboard 和 REST API 跟踪运行时指标、公开集群信息 |
| MDS | Metadata Server 元数据服务器 | 存储 CephFS 使用的元数据,非对象/块存储 |
四种访问方式:
| 访问方式 | 库 | 说明 |
|---|---|---|
| Ceph 原生 API | librados | 原生 C 库,性能最优 |
| Ceph 块设备 | librbd,RBD | RADOS 块设备,支持精简配置、快照、克隆 |
| Ceph 对象网关 | librgw,RGW | 兼容 S3 和 Swift API |
| Ceph 文件系统 | libcephfs,CephFS | POSIX 接口,支持快照 |
Ceph 使用 RADOS 提供对象存储,通过 librados 封装库提供多种存储方式,外层通过 RGW 对象、RBD 块、CephFS 文件将数据写入存储。
二、Ceph 部署
2.1 集群安装方式
| 方式 | 说明 |
|---|---|
| Cephadm | 官方推荐,基于容器部署,支持 Octopus 及以后版本,部署后可通过命令行和图形界面管理 |
| Rook | 官方推荐,基于 Kubernetes 部署,支持 Nautilus 及以后版本 |
| ceph-ansible | Ansible 部署 |
| ceph-deploy | 已不维护 |
| DeepSea | Salt 部署 |
| 手动部署 | 手工安装各组件 |
2.2 服务端口
所有端口均为 TCP 协议。实验环境通常直接关闭 firewalld 和 SELinux 以降低部署难度,生产环境不要直接关闭。
| 服务 | 端口 | 描述 |
|---|---|---|
| MON | 6789、3300 | Ceph 集群内部通信 |
| OSD | 6800-7300 | 每个 OSD 占四个端口:客户端通信、OSD 数据通信、心跳 |
| MDS | 6800-7300 | 元数据服务器通信 |
| MGR | 8443 | SSL 方式登录 Ceph 图形化页面 |
| RESTful 管理模块 | 8003 | SSL 方式与 RESTful 模块通信 |
| Prometheus | 9283/9093/9100 | 管理、告警、节点导出 |
| Grafana | 3000 | Grafana 服务 |
| RGW | 80 | RADOS 网关通信 |
| Ceph iSCSI 网关 | 9287 | iSCSI 网关通信 |
2.3 Cephadm 简介
Cephadm 是 Ceph 全生命周期管理工具,通过“引导 bootstrapping”创建一个包含一个 MON 和一个 MGR 的单节点集群,后续可通过自带编排接口扩容、添加主机、部署服务。
- Cephadm 使用容器部署 Ceph,降低复杂性和包依赖性。
- Cephadm 通过 SSH 向集群添加新主机、添加存储或监控。
- 提供两个管理接口:Ceph CLI 和 Dashboard GUI。
# 进入容器化 shell,安装了所有必需的 Ceph 包
cephadm shell
# 输出结果:进入 [ceph: root@ceph1 /]# 容器化 shell
# 直接运行命令
cephadm shell -- ceph status
# 输出结果:显示 cluster id、health、services 等集群状态
# 常用状态查看
ceph status
ceph -s
# 输出结果:显示集群健康状态、MON/MGR/OSD 服务概况
2.4 部署 MON 和 MGR
# 引导集群,创建单节点集群,含 MON + MGR
cephadm bootstrap --mon-ip 192.168.108.11
# 输出结果:引导完成,生成集群配置和密钥环
# 查看集群状态
ceph status
# 输出结果:显示 MON、MGR 服务已运行,集群健康状态
2.5 部署 OSD
OSD 资源建议:
| 资源 | 建议 |
|---|---|
| CPU | 最少 1 核;每 200-500MB/s 或 1000-3000 IOPS 增加一核 |
| 内存 | 2G-4G 可实现基本功能 |
# 查看可用磁盘
ceph orch device ls
# 输出结果:列出各主机可用设备及是否可用于 OSD
# 应用所有可用磁盘为 OSD
ceph orch apply osd --all-available-devices
# 输出结果:OSD 服务应用完成
# 查看 OSD 状态
ceph osd tree
ceph osd status
# 输出结果:显示 OSD 树和 OSD 状态
2.6 部署服务
# 列出所有服务
ceph orch ls
# 输出结果:列出 mon、mgr、osd 等服务及数量
# 在节点部署 mon
ceph orch apply mon ceph2
# 输出结果:MON 服务应用完成
# 部署 mgr
ceph orch apply mgr ceph2
# 输出结果:MGR 服务应用完成
# 部署 osd
ceph orch apply osd ...
# 输出结果:OSD 服务应用完成
三、Ceph 集群配置
3.1 配置文件
Ceph 配置文件采用 INI 格式,涵盖守护进程和客户端配置,位于 /etc/ceph/ceph.conf。每个部分使用 [name] 标记。
# /etc/ceph/ceph.conf
[global]
fsid = 2faf683a-...
mon host = ceph1.laogao.cloud,ceph2,ceph3
[mon]
mon allow pool delete = true
[osd]
osd journal size = 1024
# 输出结果:配置文件已编辑
3.2 集群监控器 MON
MON 维护集群状态映射 cluster map,包括 MON、OSD、MDS 信息。
ceph mon dump
# 输出结果:显示 MON 映射信息
ceph mon stat
# 输出结果:显示监控器状态统计
3.3 集群网络
| 网络 | 作用 |
|---|---|
| public network 公共网络 | 客户端与 Ceph 集群通信 |
| cluster network 集群网络 | OSD 之间数据复制、心跳、再平衡流量 |
配置独立 cluster 网络可减少 public 网络流量负载,与后端 OSD 运维流量分流。存储网络推荐配置 MTU 支持巨型帧 jumbo frame 以提升性能。
# /etc/ceph/ceph.conf
[global]
public network = 192.168.108.0/24
cluster network = 10.1.0.0/16
# 输出结果:配置文件已编辑
四、Ceph 池管理
4.1 数据组织结构
POOL 资源池
└── PG Placement Group 放置组
└── OSD 对象存储设备
└── Object 对象
# 输出结果:Ceph 数据组织为 Pool → PG → OSD → Object
| 对象 | 含义 |
|---|---|
| POOL 池 | Ceph 存储集群的逻辑分区,用于在通用名称标签下存储对象;每个池分配特定数量的 PG |
| PG 放置组 | 构成 pool 的子集,一系列对象的集合;一个 PG 仅能属于一个 Pool;Ceph 将每个 PG 映射到一组 OSD |
PG 数量影响性能:
- PG 过多:每个 PG 维护数据量过少,Ceph 占用大量 CPU 和内存计算。
- PG 过少:单个 PG 存储数据多,移动 PG 占用大量带宽。
PG 数量原则一般如下:
| OSD 数量 | PG 数量 |
|---|---|
| OSD < 5 | 128 |
| 5 < OSD < 10 | 512 |
| 10 < OSD < 50 | 4096 |
| OSD > 50 | 借助官方工具计算 |
4.2 映射对象到 OSD:CRUSH 算法
- 客户端从 MON 获取最新集群映射副本,不含对象位置。
- 计算 PG ID:
PG ID = hash(Object ID) % (PG number)。 - 使用 CRUSH 算法确定 PG 负责的 OSDs,即 Acting Set。Acting Set 第一个 OSD 是主 OSD primary,其余是辅助 OSD。
- 客户端直接与主 OSD 通信读写对象。
Ceph 客户端自行计算对象存储位置,比通过组件交互查询快得多,因此数据读写时由客户端根据 CRUSH 完成位置计算。
4.3 数据读写流程
读取流程:
- 客户端通过 MON 获取 cluster map。
- 客户端获取主 OSD 节点信息,向其发送读取请求。
- 主 OSD 将数据返回给客户端。
写入流程,强一致性,分两次确认优化:
- 客户端通过 MON 获取 cluster map。
- 客户端向主 OSD 发送写入请求。
- 主 OSD 写入数据,并向两个备 OSD 发起写入指令。
- 备 OSD 写入后返回确认到主 OSD。
- 主 OSD 收到所有备 OSD 确认后,向客户端返回写入完成确认。
优化方式:第一次所有数据写入 OSD 缓存后即向客户端确认;第二次所有数据从缓存写入磁盘后再确认,客户端据此删除本地数据。
4.4 数据保护:两种池类型
| 池类型 | 原理 | 特点 |
|---|---|---|
| 复本池 replicated | 将对象复本到多个 OSD | 需较多存储空间,冗余提高读取可用性 |
| 纠删代码池 erasure code | 奇偶校验计算 | 需较少存储空间和带宽,但占用较多 CPU |
选择建议:
- 不频繁访问、不需要低延迟的数据,用纠删码池。
- 频繁访问、需快速读取性能的数据,用复本池。
注意:池一旦创建完成,池的类型便无法更改。
4.5 创建池
# 创建复本池
ceph osd pool create mypool 128 128 replicated
# 输出结果:复本池 mypool 创建完成
ceph osd pool ls
# 输出结果:列出所有池
ceph osd pool ls detail
# 输出结果:显示池详情
# 创建纠删代码配置文件
ceph osd erasure-code-profile set ec-profile k=2 m=1 crush-failure-domain=osd
# 输出结果:纠删码配置 ec-profile 创建完成
# 创建纠删池
ceph osd pool create ec-pool 128 128 erasure ec-profile
# 输出结果:纠删池 ec-pool 创建完成
# 删除池
ceph osd pool delete mypool mypool --yes-i-really-really-mean-it
# 输出结果:池删除完成
五、Ceph 认证和授权管理
5.1 cephx 协议
Ceph 存储使用 cephx 协议管理集群认证。用户账户用途:
- Ceph 守护进程之间的内部通信。
- 客户端通过 librados 库访问集群。
- 集群管理。
账户命名规则:
| 账户类型 | 命名规则 | 示例 |
|---|---|---|
| 守护进程账户 | 与进程名匹配 | osd.1、mgr.ceph1 |
| librados 客户端账户 | 以 client. 前缀 |
client.openstack、client.rgw.hostname |
| 超级用户账户 | client.admin |
访问所有内容、修改集群配置 |
5.2 密钥环文件 keyring
Ceph 创建用户账户时,为每个账户生成密钥环文件验证身份,必须复制到客户端系统或应用服务器。
| 项目 | 说明 |
|---|---|
| 默认位置 | /etc/ceph/$cluster.$name.keyring,如 ceph.client.openstack.keyring |
| 安全要求 | 密钥环文件以纯文本存储机密密钥,需用适当 Linux 文件权限保护 |
5.3 指定用户身份
# 用 --id 指定用户,不带 client. 前缀
ceph --id operator3 osd lspools
# 输出结果:以 operator3 身份列出池
# 用 --name 指定用户,需 client. 前缀
ceph --name client.operator3 osd lspools
# 输出结果:以 client.operator3 身份列出池
# 密钥环在默认位置则无需 --keyring
# 可设置环境变量
export CEPH_ARGS="--id laogao"
# 输出结果:环境变量设置完成
5.4 管理用户账户
# 列出所有用户账户
ceph auth list
ceph auth ls
# 输出结果:列出所有认证账户
# 获取特定账户详情
ceph auth get osd.0
# 输出结果:显示 osd.0 账户详情
# 获取密钥
ceph auth get-key client.operator3
ceph auth print-key client.operator3
# 输出结果:显示 client.operator3 的密钥
# 创建用户,get-or-create
ceph auth get-or-create client.rbd mon 'profile rbd' osd 'profile rbd' \
-o /etc/ceph/ceph.client.rbd.keyring
# 输出结果:创建 client.rbd 并写入 keyring 文件
5.5 cephx 通信原理
- client 向 MON 请求会话密钥,传递共享密钥。
- MON 创建会话密钥,分享给 MDS 和 OSD。
- MON 使用共享密钥加密会话密钥返回给 client。
- client 解密获得会话密钥,用其向 MON 请求票据 ticket。
- client 使用 ticket 与 MDS、OSD 交互,三者共享 MON 产生的密钥验证 ticket 合法性。
六、Ceph 块存储管理:RBD
6.1 RBD IO 流程
- 客户端创建 pool,指定 pg 数量。
- 创建 pool/image,即 rbd 设备,进行挂载。
- 用户写入的数据切块,每块默认 4M,名字为 object+序号。
- 每个 object 通过 pg 进行副本位置分配。
- pg 根据 CRUSH 算法寻找 3 个 OSD 保存 object。
- OSD 底层磁盘格式化为 xfs 文件系统。
- object 存储为
rbd0.object1.file文件。
6.2 RBD 常用命令
| 命令 | 功能 |
|---|---|
rbd create |
创建块设备映像 |
rbd ls |
列出 rbd 存储池中的块设备 |
rbd info |
查看块设备信息 |
rbd diff |
统计 rbd 使用量 |
rbd map |
映射块设备 |
rbd showmapped |
查看已映射块设备 |
rbd remove |
删除块设备 |
rbd resize |
更改块设备大小 |
6.3 创建 RBD 镜像
# 1. 创建 rbd 池并初始化
ceph osd pool create images_pool
# 输出结果:池 images_pool 创建完成
rbd pool init images_pool
# 输出结果:rbd 池初始化完成
# 等同于:ceph osd pool application enable images_pool rbd
# 2. 创建专用受限用户,仅授 RBD 池读写权限
ceph auth get-or-create client.rbd mon 'profile rbd' osd 'profile rbd' \
-o /etc/ceph/ceph.client.rbd.keyring
# 输出结果:client.rbd 创建完成并写入 keyring
# 3. 创建 RBD 镜像
rbd create images_pool/webapp1 --size 1G
# 输出结果:镜像 webapp1 创建完成
# 4. 查看
rbd ls images_pool
# 输出结果:列出 images_pool 中的镜像
rbd pool stats images_pool
# 输出结果:显示池统计信息
rbd info images_pool/webapp1
# 输出结果:显示 webapp1 镜像信息
6.4 访问 RBD 块设备
访问方式:
| 方式 | 说明 |
|---|---|
| KRBD | 客户端 krbd 模块将 RBD 镜像映射为 Linux 块设备 |
| librbd 库 | 将 RBD 存储提供给 KVM 虚拟机和 OpenStack 云实例 |
使用内核 RBD KRBD 访问:
# 客户端安装 ceph-common
dnf install -y ceph-common
# 输出结果:安装完成
# 从 ceph1 复制配置文件和密钥环到客户端
scp /etc/ceph/ceph.conf root@client:/etc/ceph/
scp /etc/ceph/ceph.client.rbd.keyring root@client:/etc/ceph/
# 输出结果:文件复制完成
# 客户端列出镜像
rbd ls images_pool --id rbd
# 输出结果:列出 images_pool 镜像
# 映射 RBD 镜像为 /dev/rbd0
rbd map images_pool/webapp1 --id rbd
# 输出结果:/dev/rbd0
# 查看已映射
rbd showmapped
# 输出结果:显示 images_pool/webapp1 映射到 /dev/rbd0
# 格式化并挂载
mkfs.xfs /dev/rbd0
mkdir /mnt/rbd
mount /dev/rbd0 /mnt/rbd
# 输出结果:/dev/rbd0 挂载到 /mnt/rbd
七、Ceph 对象存储管理:RGW
7.1 对象存储介绍
对象存储将数据存储为离散项,即对象,每个对象具有唯一对象 ID。对象包含三部分:
| 部分 | 说明 |
|---|---|
| Key 键 | 对象名称,UTF-8 编码,长度 0~1024,桶内唯一 |
| Metadata 元数据 | 描述信息,如 Date、Content-length、ETag 等 |
| Data 数据 | 文件数据内容 |
对象存储在扁平的命名空间中,即桶 bucket 或容器 container,无多层级目录结构。特征:接入灵活、访问协议简单 http/https、访问网络不受限、结构扁平化。
7.2 RADOS 网关 RGW
RADOS Gateway 对象网关 RGW 为客户端提供标准对象存储 API 访问 Ceph 集群。Ceph 支持 Amazon S3 和 OpenStack Swift 两种对象 API;守护进程 radosgw 基于 librados 库构建,提供 HTTP Web 服务接口。
RADOS 网关用户只能访问网关,不能像 cephx 用户一样直接访问存储集群。网关用户通过 RGW 认证后,网关再使用 cephx 凭据向存储集群认证。
RGW 默认创建的池:.rgw.root、.default.rgw.control、.default.rgw.meta、.default.rgw.log、.default.rgw.buckets.index、.default.rgw.buckets.data、.default.rgw.buckets.non-ec。
7.3 多站点 RGW 区域概念
| 概念 | 说明 |
|---|---|
| 区域 zone | 关联一个或多个 RADOS 网关 |
| 区域组 zone group | 一个或多个区域集合,数据复制到组内所有区域 |
| 域 realm | 所有对象和存储桶的全局命名空间,含一个或多个区域组 |
| 期间 period / 时期 epoch | 跟踪域、区域组、区域的配置状态与版本 |
创建用户等元数据更新操作必须在主区域进行。
7.4 使用 Amazon S3 API 客户端 aws CLI
# 1. 安装 awscli,pip 方式,配置阿里云源
mkdir .pip
cat > .pip/pip.conf << 'EOF'
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
EOF
pip3 install awscli
# 输出结果:awscli 安装完成
# 2. 配置 AWS CLI 凭据
aws configure
# AWS Access Key ID: 12345
# AWS Secret Access Key: 67890
# Default region name: 回车
# Default output format: 回车
# 输出结果:凭据配置完成
# 3. 创建存储桶 bucket
aws --endpoint-url http://192.168.108.11 s3 mb s3://webapp
# 输出结果:make_bucket: webapp
# 4. 上传、下载和查看对象
aws --endpoint-url http://192.168.108.11 s3 cp ./file4 s3://webapp/file4
# 输出结果:upload: ./file4 to s3://webapp/file4
aws --endpoint-url http://192.168.108.11 s3 ls s3://webapp
# 输出结果:列出 webapp 中的对象
# 多配置凭据
aws configure --profile=ceph
# 输出结果:创建 ceph 配置档案
7.5 Swift 客户端
# 安装 swift 客户端
pip3 install python-swiftclient
# 输出结果:安装完成
# 配置凭据,S3 和 Swift 共享
# 创建容器
swift --auth-version 3 ...
# 输出结果:按实际 RGW 认证参数创建容器
八、Ceph 文件系统存储管理:CephFS
8.1 CephFS 介绍
CephFS 是构建在 Ceph 存储之上、兼容 POSIX 的文件系统,作为 librados 的原生接口实施。
三种存储方式对比:
| 类型 | 特点 |
|---|---|
| 文件存储 | 带目录树层次结构,文件有名 + 元数据 |
| 块存储 | 大小相等区块,格式化或直接读写 |
| 对象存储 | 任意数据 + 元数据,扁平池,API 访问 |
8.2 元数据服务器 MDS
MDS 负责管理目录层次结构和文件元数据、访问客户端缓存并维护一致性。
| 模式 | 说明 |
|---|---|
| 活动 MDS | 负责管理 CephFS 元数据 |
| 备用 MDS | 备份,活动 MDS 无响应时切换为活动模式 |
CephFS 相关概念:
| 概念 | 说明 |
|---|---|
| CephFS 卷 | 对应一个 CephFS 文件系统 |
| CephFS 子卷 | 对应文件系统子目录,可指定 UID/GID、文件模式、大小 |
| 配额 | 通过 ceph.quota.max_bytes、ceph.quota.max_files 限制 |
客户端访问 CephFS 流程:
- 客户端联系 MON 身份验证并检索集群映射。
- 客户端从集群映射获取活动 MDS 信息。
- 客户端向活动 MDS 索取文件元数据。
- 客户端直接与 OSD 通信,使用元数据访问文件/目录。
8.3 部署 CephFS
部署方法:手动部署步骤多可控;卷部署步骤少简单。
手动部署流程:创建池 → 创建 CephFS → 部署 MDS。
# 1. 创建数据池和元数据池
ceph osd pool create cephfs.cephfs1.data.1
ceph osd pool create cephfs.cephfs1.meta
# 输出结果:数据池和元数据池创建完成
# 元数据池设置更高复本级别
ceph osd pool set cephfs.cephfs1.meta size 3
# 输出结果:元数据池副本数设置为 3
# 2. 创建文件系统
ceph fs new cephfs1 cephfs.cephfs1.meta cephfs.cephfs1.data.1
# 输出结果:CephFS cephfs1 创建完成
# 添加数据池
ceph osd pool create cephfs.cephfs1.data.2
ceph fs add_data_pool cephfs1 cephfs.cephfs1.data.2
# 输出结果:数据池添加完成
卷部署推荐:
# 创建 CephFS 卷,部署三个 MDS 实例
ceph fs volume create cephfs2 --placement="3 ceph1.laogao.cloud ceph2.laogao.cloud ceph3.laogao.cloud"
# 输出结果:CephFS 卷 cephfs2 创建完成
# 查看
ceph fs ls
ceph mds stat
ceph orch ls mds
# 输出结果:显示文件系统、MDS 状态和编排服务
# 删除
ceph fs volume rm cephfs2 --yes-i-really-mean-it
# 输出结果:CephFS 卷删除完成
8.4 挂载 CephFS
挂载方式:
| 方式 | 说明 |
|---|---|
| Kernel 挂载 | 要求 Linux 内核 4+,RHEL 8+;不支持配额,速度较快 |
| FUSE 挂载 | 支持配额和 ACL |
CephFS 访问权限选项:
| 选项 | 含义 |
|---|---|
| r | 读取权限 |
| w | 写入权限 |
| p | 额外使用布局或配额 |
| s | 额外创建快照 |
授权用户:
# 示例1:允许对 / 文件夹具备读写、配额、快照权限
ceph fs authorize cephfs1 client.cephfs1-all-user / rwps \
> /etc/ceph/ceph.client.cephfs1-all-user.keyring
# 输出结果:授权并写入 keyring 文件
# 示例2:允许读取 / 文件夹,/dir2 具备读写
ceph fs authorize cephfs1 client.cephfs1-restrict-user / r /dir2 rw \
> /etc/ceph/ceph.client.cephfs1-restrict-user.keyring
# 输出结果:授权并写入 keyring 文件
客户端挂载准备:
# 客户端安装 ceph-common
dnf install -y ceph-common
# 输出结果:安装完成
# 复制配置和 keyring
scp /etc/ceph/ceph.conf root@client:/etc/ceph/
scp /etc/ceph/ceph.client.cephfs1-all-user.keyring root@client:/etc/ceph/
# 输出结果:文件复制完成
使用 Kernel 挂载:
# mount.ceph [src] [mount-point] -o ceph-options
mkdir /mnt/cephfs1
mount.ceph ceph1.laogao.cloud:/ /mnt/cephfs1 -o name=cephfs1-all-user,fs=cephfs1
# 输出结果:CephFS 挂载到 /mnt/cephfs1
# 验证
df -h /mnt/cephfs1
# 输出结果:显示 CephFS 容量信息
mkdir /mnt/cephfs1/dir1
echo Hello World > /mnt/cephfs1/dir1/welcome.txt
# 输出结果:文件写入成功
# 查看文件系统状态
ceph fs status
ceph df
# 输出结果:显示 CephFS 状态和集群容量
附:Ceph 核心速查表
| 主题 | 一句话要点 | 关键命令/文件 | 高频考点 |
|---|---|---|---|
| 架构 | MON 管状态、OSD 存数据、MGR 管指标、MDS 管 CephFS 元数据 | ceph status;ceph osd tree |
RADOS + CRUSH 去中心化;四种访问方式 |
| 部署 | 官方推荐 cephadm 和 Rook | cephadm bootstrap --mon-ip;ceph orch apply |
bootstrap 创建 MON+MGR;OSD 可用 all-available-devices |
| 池管理 | Pool → PG → OSD → Object | ceph osd pool create;ceph osd pool ls detail |
PG 数量原则;复本池 vs 纠删池;池类型创建后不可改 |
| 认证 | cephx 共享密钥协议 | ceph auth get-or-create;keyring |
client. 前缀;--id 不带前缀;--name 带前缀 |
| 块存储 RBD | 把 RADOS 对象抽象为块设备 | rbd create/map/showmapped |
RBD IO 切块 4M;KRBD 映射为 /dev/rbd0 |
| 对象存储 RGW | 兼容 S3/Swift 的 HTTP 对象网关 | aws s3 mb/cp/ls;radosgw |
对象三部分 Key/Metadata/Data;RGW 默认池;多站点 zone/realm |
| 文件存储 CephFS | POSIX 文件系统,依赖 MDS | ceph fs volume create;mount.ceph |
活动/备用 MDS;Kernel vs FUSE;权限 r/w/p/s |
| 网络 | public 客户端流量,cluster OSD 复制流量 | /etc/ceph/ceph.conf |
独立 cluster network 分流;巨型帧提升性能 |
三条贯穿 Ceph 的主线:
- 数据主线:客户端从 MON 取 cluster map → 计算 PG → CRUSH 选 OSD → 直接读写主 OSD;OSD 负责副本、恢复、再平衡。
- 认证主线:cephx 通过共享密钥、会话密钥和 ticket 完成客户端与 MON/OSD/MDS 的认证;keyring 必须安全分发。
- 统一存储主线:同一 RADOS 后端,通过 RBD 提供块、RGW 提供对象、CephFS 提供文件,是私有云和 OpenStack 的常用存储底座。
生产环境请替换实验 IP、域名和密钥,关闭 firewalld/SELinux 仅适用于实验环境;生产环境应遵循最小权限原则并做好 keyring 权限保护。