磁盘IO异常问题标准处理流程
目录
- 场景描述
针对银河麒麟高级服务器操作系统在生产环境中出现的磁盘 IO 性能异常问题,提供标准化的排查流程、分析方法和优化方案。常见异常场景包括但不限于:
- 系统响应缓慢,终端操作卡顿
- 数据库事务提交超时、查询延迟升高
- 应用程序读写文件速度异常波动
- 监控显示磁盘 % util 持续 100% 但业务负载低
- 批量数据拷贝 / 备份速度远低于预期
- 系统 iowait 值持续偏高但 await 正常
适用版本:银河麒麟高级服务器操作系统SP1/SP2/SP3全架构
适用人员:系统运维工程师、数据库管理员、应用运维工程师
适用设备:服务器物理机、KVM 虚拟机、容器宿主机
适用存储:HDD 机械硬盘、SATA SSD、NVMe SSD、RAID 阵列
不适用范围:存储硬件物理故障(如磁盘坏道、RAID 卡损坏)、网络存储(NFS/SMB)性能问题
3.1磁盘 IO 重要参数与工具介绍
3.1.1 核心性能指标
表1 核心性能指标含义
| 参数 |
含义 |
正常阈值 |
异常特征 |
说明 |
| IOPS |
每秒 IO 操作数 |
HDD:50-200 SATASSD:50K-90K NVMe:300K-1M+ |
远低于设备额定值 |
反映小型随机操作能力,数据库核心指标 |
| 吞吐量 |
单位时间传输数据量 |
HDD:80-250MB/s SATASSD:500-560MB/s NVMePCIe4.0:5-7.5GB/s |
持续低于理论值 70% |
反映大文件处理能力 |
| await |
IO 请求平均耗时 |
NVMe:<1ms SSD:<5ms HDD:<20ms |
持续高于阈值且波动大 |
包含排队时间 + 设备服务时间,最直观的延迟指标 |
| aqu-sz |
平均队列长度 |
HDD:≤3 SATASSD:≤16 NVMe:≤64 |
持续 > 1 且不断升高 |
反映 IO 请求积压程度 |
| %util |
设备繁忙率 |
40%-80% 为健康区间 |
持续 100% |
多队列设备不可靠,仅 HDD 可判断饱和 |
| iowait |
CPU 等待 IO 时间占比 |
<30% |
持续 > 50% |
高 iowait≠磁盘瓶颈,需结合 await 判断 |
3.1.2 常用工具速查
表2 IO相关常用工具介绍
| 工具 |
用途 |
推荐命令 |
输出重点 |
| iostat |
磁盘 IO 聚合统计 |
iostat -xmd 1 60 |
await、aqu-sz、r/s、w/s、rkB/s、wkB/s |
| iotop |
进程级 IO 监控 |
iotop -o -b -n 10 |
DISK READ/DISK WRITE、IO > 百分比 |
| fio |
磁盘性能基准测试 |
见 3.3.3 节 |
clat P99/P99.99、BW、IOPS |
| blktrace |
块层 IO 事件追踪 |
见 3.3.4 节 |
Q2G、I2D、D2C 时延分解 |
| sysctl |
内核参数查看与修改 |
sysctl -a |
grep vm.dirty |
| lsblk |
块设备信息查看 |
lsblk -t |
调度器、队列深度、物理扇区大小 |
3.2信息收集与确认
执行顺序:先收集基础信息,再进行深度监控,避免影响业务。
3.2.1 系统基础信息
# 系统版本与内核
版本:nkvers
内核:uname -r
# 磁盘设备列表与类型
lsblk -o NAME,SIZE,TYPE,MOUNTPOINT,ROTA ( ROTA=1为HDD,ROTA=0为SSD/NVMe )
# 当前IO调度器
cat /sys/block/<dev>/queue/scheduler
# 队列深度与预读设置
cat /sys/block/<dev>/queue/nr_requests
cat /sys/block/<dev>/queue/read_ahead_kb
# 脏页回写参数
sysctl vm.dirty_ratio vm.dirty_background_ratio
sysctl vm.dirty_expire_centisecs vm.dirty_writeback_centisecs
# 文件系统挂载参数
mount | grep -v tmpfs
3.2.2 实时 IO 状态采集
# 采集60秒IO统计数据(后台运行)
nohup iostat -xmd 1 60 > iostat_$(date +%Y%m%d_%H%M).log &
# 采集高IO进程
iotop -o -b -n 20 > iotop_$(date +%Y%m%d_%H%M).log
# 采集CPU与内存状态
vmstat 1 60 > vmstat_$(date +%Y%m%d_%H%M).log
sar -u 1 60 > sar_cpu_$(date +%Y%m%d_%H%M).log
3.2.3 业务负载信息
- 记录异常发生时间、持续时长、影响范围
- 确认业务是否有批量操作(备份、数据导入、日志切割)
- 收集应用日志中与 IO 相关的报错信息
- 记录数据库慢查询、事务超时等现象
3.3 深度分析与排查
3.3.1 第一步:iostat 快速定位问题类型
执行‘iostat -x 1’观察 10-30 秒,根据指标特征判断问题方向:
表3 ‘iostat’输出指标与排查方向
| 指标组合 |
问题类型 |
排查方向 |
| await 高 + aqu-sz 高 + % util 高 |
设备饱和 |
外接存储:升级存储容量 / 性能、分散 IO 负载、优化调度器; 本地磁盘:拆分业务、调整 IO 调度、扩容本地盘或更换高性能介质 |
| await 高 + aqu-sz 低 + % util 低 |
设备响应慢 |
本地盘:检查磁盘健康、固件版本、RAID 状态; 外置存储:核查存储池、存储控制器、链路状态与 LUN 性能 |
| iowait 高 + await 正常 |
并发同步 IO 过多 |
改用异步 IO、减少 fsync 频率、优化脏页参数 |
| % util=100% + await 正常 + IOPS 低 |
多队列误判 |
多队列磁盘(NVMe 等)忽略 % util 指标,结合 IOPS、吞吐量、业务延迟综合判断是否达到硬件上限 |
| r/s/w/s 高 + rkB/s/wkB/s 低 + avgrq-sz 小 |
随机小 IO 风暴 |
优化应用访问模式、增加缓存、使用 SSD |
3.3.2 第二步:iotop 定位高 IO 进程
# 实时查看高IO进程(只显示有IO活动的进程)
iotop -o
# 按IO使用率排序,方便快速定位TOP进程
iotop -o -P
重点关注以下进程:
- jbd2/<dev>-8:ext4 文件系统日志进程,高负载表示元数据写入频繁
- kworker/uX:Y+flush-<主设备号>:<次设备号>:脏页回写进程,高负载表示脏页积压
- 业务进程(如 mysqld、observer、java):确认是否为正常业务负载
3.3.3 第三步:fio 验证磁盘基准性能
测试原则:fio 会产生大量 IO 压力,生产环境优先采用采样观测方式,非必要不执行 fio 压测;如需测试,务必选定空闲裸盘 / 非业务分区,测试前做好数据备份。
# 1. 随机读IOPS测试(数据库场景)
fio --name=rand-read --ioengine=libaio --rw=randread --bs=4k --direct=1 --iodepth=32 --numjobs=4 --size=10G --runtime=60 --group_reporting
# 2. 顺序写吞吐量测试
fio --name=seq-write --ioengine=libaio --rw=write --bs=128k --direct=1 --iodepth=16 --numjobs=2 --size=20G --runtime=60 --group_reporting
# 3. 模拟MySQL混合读写
fio --name=mysql-oltp --ioengine=libaio --rw=randrw --rwmixread=70 --bs=8k --direct=1 --iodepth=16 --numjobs=8 --runtime=60 --group_reporting
结果解读:重点关注clat(完成延迟)的 P99 和 P99.99 值,而非平均值。数据库性能毛刺通常来自长尾延迟。
3.3.4 第四步:blktrace 深度时延分解
当 await 高但无法确定是调度器还是设备问题时,使用 ‘blktrace’ 追踪每个 IO 的生命周期:
# Step1:采集30秒数据(必须指定裸设备)
blktrace -d /dev/sda -w 30 -o /tmp/io_trace
# Step2:解析并生成时延报告
blkparse -i /tmp/io_trace -d /tmp/io_trace.bin btt -i /tmp/io_trace.bin > /tmp/io_latency.txt
表4 关键时延指标解读
| 指标 |
含义 |
高值原因 |
解决方案 |
| Q2G |
入队→获取请求 |
request 资源紧张、队列积压 |
调大nr_requests |
| G2I |
获取→插入调度队列 |
IO 合并耗时、Plug 蓄流 |
随机 IO 场景关闭合并:echo 0 > /sys/block/<dev>/queue/nomerges |
| I2D |
插入→分发到驱动 |
调度器延迟、队列积压 |
更换调度器(如 none/mq-deadline) |
| D2C |
分发→设备完成 |
硬件本身慢、磁盘老化 |
更换磁盘、升级固件、检查 RAID 状态 |
| Q2C |
入队→完成 |
端到端总延迟 |
综合优化 |
3.4 根因定位与解决方案
3.4.1 常见根因分类与解决方案
表5 常见根因分类与解决方案
| 根因类别 |
典型现象 |
解决方案 |
| 脏页参数配置不当 |
写操作偶发卡顿、kworker 进程 CPU 高 |
调整vm.dirty_ratio和vm.dirty_background_ratio,见 3.4.2 节 |
| IO 调度器不匹配 |
NVMe 磁盘延迟高、数据库性能差 |
NVMe 使用none调度器,HDD/SATA 使用mq-deadline |
| 文件系统挂载参数不合理 |
元数据写入频繁、小文件性能差 |
添加noatime,nodiratime挂载参数 |
| 应用 IO 模式不佳 |
大量小文件随机读写、频繁 fsync |
批量 IO、异步 IO、减少 fsync 频率 |
| 存储硬件瓶颈 |
D2C 时延高、IOPS / 吞吐量不达标 |
升级为 NVMe SSD、配置 RAID 10 |
| 内核统计 bug |
%util 异常偏高(如 500%)但业务正常 |
升级内核到 4.19.90-25.7.v2101 及以上版本 |
3.4.2 场景化参数优化
1. 脏页回写参数优化
# 1.编辑/etc/sysctl.conf
## OLTP数据库(低延迟优先)
vm.dirty_ratio = 10 vm.dirty_background_ratio = 5
vm.dirty_expire_centisecs = 1500
vm.dirty_writeback_centisecs = 200
## 日志/文件服务器(高吞吐优先)
vm.dirty_ratio = 40 vm.dirty_background_ratio = 20
vm.dirty_expire_centisecs = 6000
# 2.生效配置
sysctl -p
2.IO调度器优化
# 临时修改
echo none > /sys/block/nvme0n1/queue/scheduler
echo mq-deadline > /sys/block/sda/queue/scheduler
# 永久生效(创建udev规则)
cat > /etc/udev/rules.d/60-ioscheduler.rules << EOF
ACTION=="add|change", KERNEL=="nvme[0-9]*", ATTR{queue/scheduler}="none" ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/scheduler}="mq-deadline" EOF
3.文件系统挂载优化
# 临时挂载
mount -o remount,noatime,nodiratime /data
# 永久生效(编辑/etc/fstab)
/dev/nvme0n1p1 /data xfs defaults,noatime,nodiratime 0 2
4.数据库服务器专项优化
# 1. 关闭预读(数据库有自身缓存)
echo 0 > /sys/block/nvme0n1/queue/read_ahead_kb
# 2. 调大队列深度
echo 256 > /sys/block/nvme0n1/queue/nr_requests
# 3. 设置性能模式
tuned-adm profile throughput-performance
1.% util 指标误区:对于 NVMe SSD 和 RAID 阵列,% util=100% 不代表设备饱和,需结合 IOPS、吞吐量和 await 综合判断。
2.O_DIRECT 与 O_SYNC 区别:O_DIRECT 仅绕过 Page Cache,不保证数据落盘;需同时使用O_DIRECT | O_SYNC或调用fsync()才能确保数据持久化。
3.脏页参数风险:vm.dirty_ratio=0会导致写操作完全失去缓冲,引发严重性能问题;data=writeback和barrier=0在断电时存在数据丢失风险,仅在有 UPS 或 RAID 卡带 BBU 时使用。
4.使用限制:必须指定裸设备(如 /dev/sda),不能是分区(如 /dev/sda1);高 IOPS 场景会生成大量数据,建议先采集 10 秒测试。
5.fio 测试风险:测试裸盘会覆盖数据,务必确认测试设备未挂载;生产环境测试需在业务低峰期进行,且控制测试时长。
6.麒麟操作系统特有问题:银河麒麟高级服务器操作系统V10SP1-0711 版本会将 sd 开头的设备强制设置为 bfq 调度器,导致数据库性能问题,需手动修改 udev 规则。
附:实际案例
案例 1:BFQ 调度器导致 MySQL 事务提交超时
现象:银河麒麟高级服务器操作系统V10 ARM 虚拟机(SATA 总线),MySQL 事务提交超时,%util 高达 100%,await 平均 50ms。
图1 现象截图
排查过程:
1.‘iostat -x’显示 await 高、aqu-sz 高、% util=100%;
2.‘cat /sys/block/sda/queue/scheduler’输出[bfq] mq-deadline none kyber;
3.确认系统为 0711 版本,存在 udev 规则强制将 sd 开头设备设为 bfq,数据库推荐使用mq-deadline。
图2 调度器推荐
解决方案:
# 临时修复
echo mq-deadline > /sys/block/sda/queue/scheduler
# 永久修复
vim /lib/udev/rules.d/60-block-scheduler.rules
# 将bfq改为mq-deadline
效果:MySQL 事务提交延迟从 50ms 降至 5ms,iowait 降至 10% 以下。
案例 2:脏页参数配置不当导致写性能波动
现象:dd 拷贝 400MB 数据,3-5 次中有 1 次耗时 5 分钟,其余几秒完成;使用oflag=direct时速度稳定。
排查过程:
1.‘sysctl vm.dirty*’显示vm.dirty_ratio=0和 vm.dirty_background_ratio=0;
图3 异常内核参数配置示例
2.确认是为了 "数据安全" 错误配置了脏页参数,对比验证该参数影响了读写性能。
图4 脏页参数变更前后性能对比
解决方案:
# 恢复正常脏页参数
sysctl -w vm.dirty_ratio=10
sysctl -w vm.dirty_background_ratio=5
sysctl -w vm.dirty_expire_centisecs=1500
sysctl -w vm.dirty_writeback_centisecs=200
效果:dd 拷贝速度稳定在 200MB/s 以上,无波动。
案例 3:内核统计 bug 导致 % util 异常
问题描述:
在使用过程中,内核升级到4.19.90-25.7.v2101版本的内核之后,运用场景io负载基本未变化,有发现磁盘的%util相对上4.19.90-25.4.v2101版本有偏高的情况。
图5 现象截图
问题说明:
%util 指标说明:iostat 的 %util 来源于 /proc/diskstats 第 13 字段,即设备有 I/O 在处理的时间(不区分并发个数),对时间求导即为 %util,表示设备“非空闲”时间占比。
差异原因:旧内核(4.19.90-25.6.v2101 及之前)中,I/O 统计函数存在重入风险,统计结果作为类全局数据缺乏保护,会发生“覆盖冲刷”——正在处理的 I/O 被误判为已完成、设备空闲,导致第 13 字段增量偏小、%util 被低估。该问题已在 4.19.90-25.7.v2101 中修复。
结论:两个内核 %util 表现出的差异即源于此,4.19.90-25.7.v2101 的统计结果更准确。
建议:
由于 %util 指标准确性存在问题,不建议作为参考依据;评估磁盘 I/O 性能时,建议重点关注 IOPS、吞吐量(MB/s)及 await(平均 I/O 等待时间)等指标。