Ceph 管理实战笔记

Source

Ceph 管理实战笔记

本文系统梳理 Ceph 分布式存储的定位、架构、部署、池管理、认证授权,以及块存储 RBD、对象存储 RGW、文件存储 CephFS 的实战流程。全文按“概念—架构—命令实操—对比总结”展开,重点保留 RADOS/CRUSH 数据主线、cephx 认证主线、块/对象/文件三种访问方式主线。实验环境以 cephadm 容器化部署为例,文中 IP、域名、密钥均为实验环境取值,实际操作请替换。

0. 全局视角:Ceph 是什么

Ceph 是一款开源、分布式、软件定义存储 SDS,具备高可用、可扩展、易用等特点,用于存储海量数据。Ceph 可部署在通用 x86 或 ARM 服务器上,并支持同一集群混用 x86 和 ARM 主机。

Ceph 的核心思路:所有数据以对象形式存储在 RADOS 存储池中;客户端根据 CRUSH 算法自行计算对象位置并直接读写;集群可自动扩展、再平衡和恢复数据。

能力 说明
去中心化 客户端通过 CRUSH 自行计算对象位置,不依赖中心元数据节点定位数据
统一存储 同一集群同时提供块存储 RBD、对象存储 RGW、文件存储 CephFS
自愈与再平衡 OSD 故障后自动复制恢复,扩容后自动再平衡
通用硬件 可运行在 x86/ARM 通用服务器上

一条主线串起 Ceph:客户端先向 MON 获取集群映射 cluster map → 计算 PG ID → 用 CRUSH 算出负责的 OSD 集合 → 直接与主 OSD 通信读写对象 → OSD 负责副本、恢复和再平衡。


一、Ceph 介绍与架构

1.1 存储中的用户角色

角色 职责
存储管理员 安装、配置、维护 Ceph 集群;培训架构师;提供复本、备份、灾难恢复;通过基础设施即代码实现自动化
存储操作员 协助日常操作,主要使用 Ceph Dashboard GUI 查看和响应告警、统计,更换故障存储设备
其他角色 云操作员、自动化工程师、应用开发人员 DevOps、服务管理员、部署工程师、应用架构师、基础架构架构师、数据中心操作员

不同组织中角色实施不同:电信/云服务商中“云操作员、存储操作员、基础架构架构师”通常只消费存储不维护;银行金融等场景所有角色由内部人员承担;小规模组织一个人可能承担多个角色。

1.2 技术优势与历史

技术优势:

  1. 采用 RADOS 系统,将所有数据作为对象存储在存储池中。
  2. 去中心化:客户端根据 CRUSH 算法自行计算对象存储位置,再进行数据读写。
  3. 集群可自动扩展、数据再平衡、数据恢复。

发展简史:

时间 事件
2003 年 Sage Weil 在圣克鲁兹加利福尼亚大学开发 Ceph,初始原型约 4 万行 C++ 代码
2006 年 遵循 LGPL 协议开源
2012 年 Sage Weil 在 DreamHost 资助下成立 Inktank 公司提供专业服务
2014 年 Inktank 并入红帽 Red Hat,成为 Ceph 存储
— Ceph 与 Linux 内核、SUSE、OpenStack、CloudStack 等深度整合

1.3 上游版本

Ceph 采用代号 + 版本号发布机制,主要 LTS 版本如下:

版本 代号 发布时间
16.2.x Pacific 2021-03
17.2.x Quincy 2022-04
18.2.x Reef 2023-08
19.2.x Squid 2024-09

版本格式 x.y.z 含义:

字段 含义
x 发行周期,如 13 表示 Mimic
y 发行类型:x.0.z 开发版、x.1.z 候选版、x.2.z 稳定版
z 发行号

红帽企业版 Ceph RHCS 与社区 LTS 版本生命周期一致,并提供 36 个月支持。

1.4 架构组件

组件 全称 职责
MON Monitor 监控器 维护集群状态映射,帮助其他守护进程协调
OSD Object Storage Device 对象存储设备 存储数据,处理数据复制、恢复和重新平衡
MGR Manager 管理器 通过浏览器 Dashboard 和 REST API 跟踪运行时指标、公开集群信息
MDS Metadata Server 元数据服务器 存储 CephFS 使用的元数据,非对象/块存储

四种访问方式:

访问方式 库 说明
Ceph 原生 API librados 原生 C 库,性能最优
Ceph 块设备 librbd,RBD RADOS 块设备,支持精简配置、快照、克隆
Ceph 对象网关 librgw,RGW 兼容 S3 和 Swift API
Ceph 文件系统 libcephfs,CephFS POSIX 接口,支持快照

Ceph 使用 RADOS 提供对象存储,通过 librados 封装库提供多种存储方式,外层通过 RGW 对象、RBD 块、CephFS 文件将数据写入存储。


二、Ceph 部署

2.1 集群安装方式

方式 说明
Cephadm 官方推荐,基于容器部署,支持 Octopus 及以后版本,部署后可通过命令行和图形界面管理
Rook 官方推荐,基于 Kubernetes 部署,支持 Nautilus 及以后版本
ceph-ansible Ansible 部署
ceph-deploy 已不维护
DeepSea Salt 部署
手动部署 手工安装各组件

2.2 服务端口

所有端口均为 TCP 协议。实验环境通常直接关闭 firewalld 和 SELinux 以降低部署难度,生产环境不要直接关闭。

服务 端口 描述
MON 6789、3300 Ceph 集群内部通信
OSD 6800-7300 每个 OSD 占四个端口:客户端通信、OSD 数据通信、心跳
MDS 6800-7300 元数据服务器通信
MGR 8443 SSL 方式登录 Ceph 图形化页面
RESTful 管理模块 8003 SSL 方式与 RESTful 模块通信
Prometheus 9283/9093/9100 管理、告警、节点导出
Grafana 3000 Grafana 服务
RGW 80 RADOS 网关通信
Ceph iSCSI 网关 9287 iSCSI 网关通信

2.3 Cephadm 简介

Cephadm 是 Ceph 全生命周期管理工具,通过“引导 bootstrapping”创建一个包含一个 MON 和一个 MGR 的单节点集群,后续可通过自带编排接口扩容、添加主机、部署服务。

  • Cephadm 使用容器部署 Ceph,降低复杂性和包依赖性。
  • Cephadm 通过 SSH 向集群添加新主机、添加存储或监控。
  • 提供两个管理接口:Ceph CLI 和 Dashboard GUI。
# 进入容器化 shell,安装了所有必需的 Ceph 包
cephadm shell
# 输出结果:进入 [ceph: root@ceph1 /]# 容器化 shell

# 直接运行命令
cephadm shell -- ceph status
# 输出结果:显示 cluster id、health、services 等集群状态

# 常用状态查看
ceph status
ceph -s
# 输出结果:显示集群健康状态、MON/MGR/OSD 服务概况

2.4 部署 MON 和 MGR

# 引导集群,创建单节点集群,含 MON + MGR
cephadm bootstrap --mon-ip 192.168.108.11
# 输出结果:引导完成,生成集群配置和密钥环

# 查看集群状态
ceph status
# 输出结果:显示 MON、MGR 服务已运行,集群健康状态

2.5 部署 OSD

OSD 资源建议:

资源 建议
CPU 最少 1 核;每 200-500MB/s 或 1000-3000 IOPS 增加一核
内存 2G-4G 可实现基本功能
# 查看可用磁盘
ceph orch device ls
# 输出结果:列出各主机可用设备及是否可用于 OSD

# 应用所有可用磁盘为 OSD
ceph orch apply osd --all-available-devices
# 输出结果:OSD 服务应用完成

# 查看 OSD 状态
ceph osd tree
ceph osd status
# 输出结果:显示 OSD 树和 OSD 状态

2.6 部署服务

# 列出所有服务
ceph orch ls
# 输出结果:列出 mon、mgr、osd 等服务及数量

# 在节点部署 mon
ceph orch apply mon ceph2
# 输出结果:MON 服务应用完成

# 部署 mgr
ceph orch apply mgr ceph2
# 输出结果:MGR 服务应用完成

# 部署 osd
ceph orch apply osd ...
# 输出结果:OSD 服务应用完成

三、Ceph 集群配置

3.1 配置文件

Ceph 配置文件采用 INI 格式,涵盖守护进程和客户端配置,位于 /etc/ceph/ceph.conf。每个部分使用 [name] 标记。

# /etc/ceph/ceph.conf
[global]
fsid = 2faf683a-...
mon host = ceph1.laogao.cloud,ceph2,ceph3

[mon]
mon allow pool delete = true

[osd]
osd journal size = 1024
# 输出结果:配置文件已编辑

3.2 集群监控器 MON

MON 维护集群状态映射 cluster map,包括 MON、OSD、MDS 信息。

ceph mon dump
# 输出结果:显示 MON 映射信息

ceph mon stat
# 输出结果:显示监控器状态统计

3.3 集群网络

网络 作用
public network 公共网络 客户端与 Ceph 集群通信
cluster network 集群网络 OSD 之间数据复制、心跳、再平衡流量

配置独立 cluster 网络可减少 public 网络流量负载,与后端 OSD 运维流量分流。存储网络推荐配置 MTU 支持巨型帧 jumbo frame 以提升性能。

# /etc/ceph/ceph.conf
[global]
public network = 192.168.108.0/24
cluster network = 10.1.0.0/16
# 输出结果:配置文件已编辑

四、Ceph 池管理

4.1 数据组织结构

POOL 资源池
  └── PG Placement Group 放置组
       └── OSD 对象存储设备
            └── Object 对象
# 输出结果:Ceph 数据组织为 Pool → PG → OSD → Object
对象 含义
POOL 池 Ceph 存储集群的逻辑分区,用于在通用名称标签下存储对象;每个池分配特定数量的 PG
PG 放置组 构成 pool 的子集,一系列对象的集合;一个 PG 仅能属于一个 Pool;Ceph 将每个 PG 映射到一组 OSD

PG 数量影响性能:

  • PG 过多:每个 PG 维护数据量过少,Ceph 占用大量 CPU 和内存计算。
  • PG 过少:单个 PG 存储数据多,移动 PG 占用大量带宽。

PG 数量原则一般如下:

OSD 数量 PG 数量
OSD < 5 128
5 < OSD < 10 512
10 < OSD < 50 4096
OSD > 50 借助官方工具计算

4.2 映射对象到 OSD:CRUSH 算法

  1. 客户端从 MON 获取最新集群映射副本,不含对象位置。
  2. 计算 PG ID:PG ID = hash(Object ID) % (PG number)。
  3. 使用 CRUSH 算法确定 PG 负责的 OSDs,即 Acting Set。Acting Set 第一个 OSD 是主 OSD primary,其余是辅助 OSD。
  4. 客户端直接与主 OSD 通信读写对象。

Ceph 客户端自行计算对象存储位置,比通过组件交互查询快得多,因此数据读写时由客户端根据 CRUSH 完成位置计算。

4.3 数据读写流程

读取流程:

  1. 客户端通过 MON 获取 cluster map。
  2. 客户端获取主 OSD 节点信息,向其发送读取请求。
  3. 主 OSD 将数据返回给客户端。

写入流程,强一致性,分两次确认优化:

  1. 客户端通过 MON 获取 cluster map。
  2. 客户端向主 OSD 发送写入请求。
  3. 主 OSD 写入数据,并向两个备 OSD 发起写入指令。
  4. 备 OSD 写入后返回确认到主 OSD。
  5. 主 OSD 收到所有备 OSD 确认后,向客户端返回写入完成确认。

优化方式:第一次所有数据写入 OSD 缓存后即向客户端确认;第二次所有数据从缓存写入磁盘后再确认,客户端据此删除本地数据。

4.4 数据保护:两种池类型

池类型 原理 特点
复本池 replicated 将对象复本到多个 OSD 需较多存储空间,冗余提高读取可用性
纠删代码池 erasure code 奇偶校验计算 需较少存储空间和带宽,但占用较多 CPU

选择建议:

  • 不频繁访问、不需要低延迟的数据,用纠删码池。
  • 频繁访问、需快速读取性能的数据,用复本池。

注意:池一旦创建完成,池的类型便无法更改。

4.5 创建池

# 创建复本池
ceph osd pool create mypool 128 128 replicated
# 输出结果:复本池 mypool 创建完成

ceph osd pool ls
# 输出结果:列出所有池

ceph osd pool ls detail
# 输出结果:显示池详情
# 创建纠删代码配置文件
ceph osd erasure-code-profile set ec-profile k=2 m=1 crush-failure-domain=osd
# 输出结果:纠删码配置 ec-profile 创建完成

# 创建纠删池
ceph osd pool create ec-pool 128 128 erasure ec-profile
# 输出结果:纠删池 ec-pool 创建完成

# 删除池
ceph osd pool delete mypool mypool --yes-i-really-really-mean-it
# 输出结果:池删除完成

五、Ceph 认证和授权管理

5.1 cephx 协议

Ceph 存储使用 cephx 协议管理集群认证。用户账户用途:

  1. Ceph 守护进程之间的内部通信。
  2. 客户端通过 librados 库访问集群。
  3. 集群管理。

账户命名规则:

账户类型 命名规则 示例
守护进程账户 与进程名匹配 osd.1、mgr.ceph1
librados 客户端账户 以 client. 前缀 client.openstack、client.rgw.hostname
超级用户账户 client.admin 访问所有内容、修改集群配置

5.2 密钥环文件 keyring

Ceph 创建用户账户时,为每个账户生成密钥环文件验证身份,必须复制到客户端系统或应用服务器。

项目 说明
默认位置 /etc/ceph/$cluster.$name.keyring,如 ceph.client.openstack.keyring
安全要求 密钥环文件以纯文本存储机密密钥,需用适当 Linux 文件权限保护

5.3 指定用户身份

# 用 --id 指定用户,不带 client. 前缀
ceph --id operator3 osd lspools
# 输出结果:以 operator3 身份列出池

# 用 --name 指定用户,需 client. 前缀
ceph --name client.operator3 osd lspools
# 输出结果:以 client.operator3 身份列出池

# 密钥环在默认位置则无需 --keyring
# 可设置环境变量
export CEPH_ARGS="--id laogao"
# 输出结果:环境变量设置完成

5.4 管理用户账户

# 列出所有用户账户
ceph auth list
ceph auth ls
# 输出结果:列出所有认证账户

# 获取特定账户详情
ceph auth get osd.0
# 输出结果:显示 osd.0 账户详情

# 获取密钥
ceph auth get-key client.operator3
ceph auth print-key client.operator3
# 输出结果:显示 client.operator3 的密钥

# 创建用户,get-or-create
ceph auth get-or-create client.rbd mon 'profile rbd' osd 'profile rbd' \
  -o /etc/ceph/ceph.client.rbd.keyring
# 输出结果:创建 client.rbd 并写入 keyring 文件

5.5 cephx 通信原理

  1. client 向 MON 请求会话密钥,传递共享密钥。
  2. MON 创建会话密钥,分享给 MDS 和 OSD。
  3. MON 使用共享密钥加密会话密钥返回给 client。
  4. client 解密获得会话密钥,用其向 MON 请求票据 ticket。
  5. client 使用 ticket 与 MDS、OSD 交互,三者共享 MON 产生的密钥验证 ticket 合法性。

六、Ceph 块存储管理:RBD

6.1 RBD IO 流程

  1. 客户端创建 pool,指定 pg 数量。
  2. 创建 pool/image,即 rbd 设备,进行挂载。
  3. 用户写入的数据切块,每块默认 4M,名字为 object+序号。
  4. 每个 object 通过 pg 进行副本位置分配。
  5. pg 根据 CRUSH 算法寻找 3 个 OSD 保存 object。
  6. OSD 底层磁盘格式化为 xfs 文件系统。
  7. object 存储为 rbd0.object1.file 文件。

6.2 RBD 常用命令

命令 功能
rbd create 创建块设备映像
rbd ls 列出 rbd 存储池中的块设备
rbd info 查看块设备信息
rbd diff 统计 rbd 使用量
rbd map 映射块设备
rbd showmapped 查看已映射块设备
rbd remove 删除块设备
rbd resize 更改块设备大小

6.3 创建 RBD 镜像

# 1. 创建 rbd 池并初始化
ceph osd pool create images_pool
# 输出结果:池 images_pool 创建完成

rbd pool init images_pool
# 输出结果:rbd 池初始化完成
# 等同于:ceph osd pool application enable images_pool rbd

# 2. 创建专用受限用户,仅授 RBD 池读写权限
ceph auth get-or-create client.rbd mon 'profile rbd' osd 'profile rbd' \
  -o /etc/ceph/ceph.client.rbd.keyring
# 输出结果:client.rbd 创建完成并写入 keyring

# 3. 创建 RBD 镜像
rbd create images_pool/webapp1 --size 1G
# 输出结果:镜像 webapp1 创建完成

# 4. 查看
rbd ls images_pool
# 输出结果:列出 images_pool 中的镜像

rbd pool stats images_pool
# 输出结果:显示池统计信息

rbd info images_pool/webapp1
# 输出结果:显示 webapp1 镜像信息

6.4 访问 RBD 块设备

访问方式:

方式 说明
KRBD 客户端 krbd 模块将 RBD 镜像映射为 Linux 块设备
librbd 库 将 RBD 存储提供给 KVM 虚拟机和 OpenStack 云实例

使用内核 RBD KRBD 访问:

# 客户端安装 ceph-common
dnf install -y ceph-common
# 输出结果:安装完成

# 从 ceph1 复制配置文件和密钥环到客户端
scp /etc/ceph/ceph.conf root@client:/etc/ceph/
scp /etc/ceph/ceph.client.rbd.keyring root@client:/etc/ceph/
# 输出结果:文件复制完成

# 客户端列出镜像
rbd ls images_pool --id rbd
# 输出结果:列出 images_pool 镜像

# 映射 RBD 镜像为 /dev/rbd0
rbd map images_pool/webapp1 --id rbd
# 输出结果:/dev/rbd0

# 查看已映射
rbd showmapped
# 输出结果:显示 images_pool/webapp1 映射到 /dev/rbd0

# 格式化并挂载
mkfs.xfs /dev/rbd0
mkdir /mnt/rbd
mount /dev/rbd0 /mnt/rbd
# 输出结果:/dev/rbd0 挂载到 /mnt/rbd

七、Ceph 对象存储管理:RGW

7.1 对象存储介绍

对象存储将数据存储为离散项,即对象,每个对象具有唯一对象 ID。对象包含三部分:

部分 说明
Key 键 对象名称,UTF-8 编码,长度 0~1024,桶内唯一
Metadata 元数据 描述信息,如 Date、Content-length、ETag 等
Data 数据 文件数据内容

对象存储在扁平的命名空间中,即桶 bucket 或容器 container,无多层级目录结构。特征:接入灵活、访问协议简单 http/https、访问网络不受限、结构扁平化。

7.2 RADOS 网关 RGW

RADOS Gateway 对象网关 RGW 为客户端提供标准对象存储 API 访问 Ceph 集群。Ceph 支持 Amazon S3 和 OpenStack Swift 两种对象 API;守护进程 radosgw 基于 librados 库构建,提供 HTTP Web 服务接口。

RADOS 网关用户只能访问网关,不能像 cephx 用户一样直接访问存储集群。网关用户通过 RGW 认证后,网关再使用 cephx 凭据向存储集群认证。

RGW 默认创建的池:.rgw.root、.default.rgw.control、.default.rgw.meta、.default.rgw.log、.default.rgw.buckets.index、.default.rgw.buckets.data、.default.rgw.buckets.non-ec。

7.3 多站点 RGW 区域概念

概念 说明
区域 zone 关联一个或多个 RADOS 网关
区域组 zone group 一个或多个区域集合,数据复制到组内所有区域
域 realm 所有对象和存储桶的全局命名空间,含一个或多个区域组
期间 period / 时期 epoch 跟踪域、区域组、区域的配置状态与版本

创建用户等元数据更新操作必须在主区域进行。

7.4 使用 Amazon S3 API 客户端 aws CLI

# 1. 安装 awscli,pip 方式,配置阿里云源
mkdir .pip
cat > .pip/pip.conf << 'EOF'
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
EOF
pip3 install awscli
# 输出结果:awscli 安装完成

# 2. 配置 AWS CLI 凭据
aws configure
# AWS Access Key ID: 12345
# AWS Secret Access Key: 67890
# Default region name: 回车
# Default output format: 回车
# 输出结果:凭据配置完成

# 3. 创建存储桶 bucket
aws --endpoint-url http://192.168.108.11 s3 mb s3://webapp
# 输出结果:make_bucket: webapp

# 4. 上传、下载和查看对象
aws --endpoint-url http://192.168.108.11 s3 cp ./file4 s3://webapp/file4
# 输出结果:upload: ./file4 to s3://webapp/file4

aws --endpoint-url http://192.168.108.11 s3 ls s3://webapp
# 输出结果:列出 webapp 中的对象

# 多配置凭据
aws configure --profile=ceph
# 输出结果:创建 ceph 配置档案

7.5 Swift 客户端

# 安装 swift 客户端
pip3 install python-swiftclient
# 输出结果:安装完成

# 配置凭据,S3 和 Swift 共享
# 创建容器
swift --auth-version 3 ...
# 输出结果:按实际 RGW 认证参数创建容器

八、Ceph 文件系统存储管理:CephFS

8.1 CephFS 介绍

CephFS 是构建在 Ceph 存储之上、兼容 POSIX 的文件系统,作为 librados 的原生接口实施。

三种存储方式对比:

类型 特点
文件存储 带目录树层次结构,文件有名 + 元数据
块存储 大小相等区块,格式化或直接读写
对象存储 任意数据 + 元数据,扁平池,API 访问

8.2 元数据服务器 MDS

MDS 负责管理目录层次结构和文件元数据、访问客户端缓存并维护一致性。

模式 说明
活动 MDS 负责管理 CephFS 元数据
备用 MDS 备份,活动 MDS 无响应时切换为活动模式

CephFS 相关概念:

概念 说明
CephFS 卷 对应一个 CephFS 文件系统
CephFS 子卷 对应文件系统子目录,可指定 UID/GID、文件模式、大小
配额 通过 ceph.quota.max_bytes、ceph.quota.max_files 限制

客户端访问 CephFS 流程:

  1. 客户端联系 MON 身份验证并检索集群映射。
  2. 客户端从集群映射获取活动 MDS 信息。
  3. 客户端向活动 MDS 索取文件元数据。
  4. 客户端直接与 OSD 通信,使用元数据访问文件/目录。

8.3 部署 CephFS

部署方法:手动部署步骤多可控;卷部署步骤少简单。

手动部署流程:创建池 → 创建 CephFS → 部署 MDS。

# 1. 创建数据池和元数据池
ceph osd pool create cephfs.cephfs1.data.1
ceph osd pool create cephfs.cephfs1.meta
# 输出结果:数据池和元数据池创建完成

# 元数据池设置更高复本级别
ceph osd pool set cephfs.cephfs1.meta size 3
# 输出结果:元数据池副本数设置为 3

# 2. 创建文件系统
ceph fs new cephfs1 cephfs.cephfs1.meta cephfs.cephfs1.data.1
# 输出结果:CephFS cephfs1 创建完成

# 添加数据池
ceph osd pool create cephfs.cephfs1.data.2
ceph fs add_data_pool cephfs1 cephfs.cephfs1.data.2
# 输出结果:数据池添加完成

卷部署推荐:

# 创建 CephFS 卷,部署三个 MDS 实例
ceph fs volume create cephfs2 --placement="3 ceph1.laogao.cloud ceph2.laogao.cloud ceph3.laogao.cloud"
# 输出结果:CephFS 卷 cephfs2 创建完成

# 查看
ceph fs ls
ceph mds stat
ceph orch ls mds
# 输出结果:显示文件系统、MDS 状态和编排服务

# 删除
ceph fs volume rm cephfs2 --yes-i-really-mean-it
# 输出结果:CephFS 卷删除完成

8.4 挂载 CephFS

挂载方式:

方式 说明
Kernel 挂载 要求 Linux 内核 4+,RHEL 8+;不支持配额,速度较快
FUSE 挂载 支持配额和 ACL

CephFS 访问权限选项:

选项 含义
r 读取权限
w 写入权限
p 额外使用布局或配额
s 额外创建快照

授权用户:

# 示例1:允许对 / 文件夹具备读写、配额、快照权限
ceph fs authorize cephfs1 client.cephfs1-all-user / rwps \
  > /etc/ceph/ceph.client.cephfs1-all-user.keyring
# 输出结果:授权并写入 keyring 文件

# 示例2:允许读取 / 文件夹,/dir2 具备读写
ceph fs authorize cephfs1 client.cephfs1-restrict-user / r /dir2 rw \
  > /etc/ceph/ceph.client.cephfs1-restrict-user.keyring
# 输出结果:授权并写入 keyring 文件

客户端挂载准备:

# 客户端安装 ceph-common
dnf install -y ceph-common
# 输出结果:安装完成

# 复制配置和 keyring
scp /etc/ceph/ceph.conf root@client:/etc/ceph/
scp /etc/ceph/ceph.client.cephfs1-all-user.keyring root@client:/etc/ceph/
# 输出结果:文件复制完成

使用 Kernel 挂载:

# mount.ceph [src] [mount-point] -o ceph-options
mkdir /mnt/cephfs1
mount.ceph ceph1.laogao.cloud:/ /mnt/cephfs1 -o name=cephfs1-all-user,fs=cephfs1
# 输出结果:CephFS 挂载到 /mnt/cephfs1

# 验证
df -h /mnt/cephfs1
# 输出结果:显示 CephFS 容量信息

mkdir /mnt/cephfs1/dir1
echo Hello World > /mnt/cephfs1/dir1/welcome.txt
# 输出结果:文件写入成功

# 查看文件系统状态
ceph fs status
ceph df
# 输出结果:显示 CephFS 状态和集群容量

附:Ceph 核心速查表

主题 一句话要点 关键命令/文件 高频考点
架构 MON 管状态、OSD 存数据、MGR 管指标、MDS 管 CephFS 元数据 ceph status;ceph osd tree RADOS + CRUSH 去中心化;四种访问方式
部署 官方推荐 cephadm 和 Rook cephadm bootstrap --mon-ip;ceph orch apply bootstrap 创建 MON+MGR;OSD 可用 all-available-devices
池管理 Pool → PG → OSD → Object ceph osd pool create;ceph osd pool ls detail PG 数量原则;复本池 vs 纠删池;池类型创建后不可改
认证 cephx 共享密钥协议 ceph auth get-or-create;keyring client. 前缀;--id 不带前缀;--name 带前缀
块存储 RBD 把 RADOS 对象抽象为块设备 rbd create/map/showmapped RBD IO 切块 4M;KRBD 映射为 /dev/rbd0
对象存储 RGW 兼容 S3/Swift 的 HTTP 对象网关 aws s3 mb/cp/ls;radosgw 对象三部分 Key/Metadata/Data;RGW 默认池;多站点 zone/realm
文件存储 CephFS POSIX 文件系统,依赖 MDS ceph fs volume create;mount.ceph 活动/备用 MDS;Kernel vs FUSE;权限 r/w/p/s
网络 public 客户端流量,cluster OSD 复制流量 /etc/ceph/ceph.conf 独立 cluster network 分流;巨型帧提升性能

三条贯穿 Ceph 的主线:

  1. 数据主线:客户端从 MON 取 cluster map → 计算 PG → CRUSH 选 OSD → 直接读写主 OSD;OSD 负责副本、恢复、再平衡。
  2. 认证主线:cephx 通过共享密钥、会话密钥和 ticket 完成客户端与 MON/OSD/MDS 的认证;keyring 必须安全分发。
  3. 统一存储主线:同一 RADOS 后端,通过 RBD 提供块、RGW 提供对象、CephFS 提供文件,是私有云和 OpenStack 的常用存储底座。

生产环境请替换实验 IP、域名和密钥,关闭 firewalld/SELinux 仅适用于实验环境;生产环境应遵循最小权限原则并做好 keyring 权限保护。