银河麒麟上磁盘IO异常问题标准处理流程

Source

磁盘IO异常问题标准处理流程

  • 场景描述

针对银河麒麟高级服务器操作系统在生产环境中出现的磁盘 IO 性能异常问题,提供标准化的排查流程、分析方法和优化方案。常见异常场景包括但不限于:

  • 系统响应缓慢,终端操作卡顿
  • 数据库事务提交超时、查询延迟升高
  • 应用程序读写文件速度异常波动
  • 监控显示磁盘 % util 持续 100% 但业务负载低
  • 批量数据拷贝 / 备份速度远低于预期
  • 系统 iowait 值持续偏高但 await 正常

适用版本:银河麒麟高级服务器操作系统SP1/SP2/SP3全架构

适用人员:系统运维工程师、数据库管理员、应用运维工程师

适用设备:服务器物理机、KVM 虚拟机、容器宿主机

适用存储:HDD 机械硬盘、SATA SSD、NVMe SSD、RAID 阵列

不适用范围:存储硬件物理故障(如磁盘坏道、RAID 卡损坏)、网络存储(NFS/SMB)性能问题

3.1磁盘 IO 重要参数与工具介绍

3.1.1 核心性能指标

表1 核心性能指标含义

参数

含义

正常阈值

异常特征

说明

IOPS

每秒 IO 操作数

HDD:50-200

SATASSD:50K-90K

NVMe:300K-1M+

远低于设备额定值

反映小型随机操作能力,数据库核心指标

吞吐量

单位时间传输数据量

HDD:80-250MB/s 

SATASSD:500-560MB/s

NVMePCIe4.0:5-7.5GB/s

持续低于理论值 70%

反映大文件处理能力

await

IO 请求平均耗时

NVMe:<1ms

SSD:<5ms

HDD:<20ms

持续高于阈值且波动大

包含排队时间 + 设备服务时间,最直观的延迟指标

aqu-sz

平均队列长度

HDD:≤3

SATASSD:≤16

NVMe:≤64

持续 > 1 且不断升高

反映 IO 请求积压程度

%util

设备繁忙率

40%-80% 为健康区间

持续 100%

多队列设备不可靠,仅 HDD 可判断饱和

iowait

CPU 等待 IO 时间占比

<30%

持续 > 50%

高 iowait≠磁盘瓶颈,需结合 await 判断

3.1.2 常用工具速查

 表2 IO相关常用工具介绍

工具

用途

推荐命令

输出重点

iostat

磁盘 IO 聚合统计

iostat -xmd 1 60

await、aqu-sz、r/s、w/s、rkB/s、wkB/s

iotop

进程级 IO 监控

iotop -o -b -n 10

DISK READ/DISK WRITE、IO > 百分比

fio

磁盘性能基准测试

见 3.3.3 节

clat P99/P99.99、BW、IOPS

blktrace

块层 IO 事件追踪

见 3.3.4 节

Q2G、I2D、D2C 时延分解

sysctl

内核参数查看与修改

sysctl -a

grep vm.dirty

lsblk

块设备信息查看

lsblk -t

调度器、队列深度、物理扇区大小

3.2信息收集与确认

执行顺序:先收集基础信息,再进行深度监控,避免影响业务。

3.2.1 系统基础信息

# 系统版本与内核

版本:nkvers

内核:uname -r

# 磁盘设备列表与类型

lsblk -o NAME,SIZE,TYPE,MOUNTPOINT,ROTA   ( ROTA=1为HDD,ROTA=0为SSD/NVMe )

# 当前IO调度器

cat /sys/block/<dev>/queue/scheduler

# 队列深度与预读设置

cat /sys/block/<dev>/queue/nr_requests  

cat /sys/block/<dev>/queue/read_ahead_kb

# 脏页回写参数

sysctl vm.dirty_ratio vm.dirty_background_ratio

sysctl vm.dirty_expire_centisecs vm.dirty_writeback_centisecs

# 文件系统挂载参数

mount | grep -v tmpfs

3.2.2 实时 IO 状态采集

# 采集60秒IO统计数据(后台运行)

nohup iostat -xmd 1 60 > iostat_$(date +%Y%m%d_%H%M).log &

# 采集高IO进程

iotop -o -b -n 20 > iotop_$(date +%Y%m%d_%H%M).log

# 采集CPU与内存状态

vmstat 1 60 > vmstat_$(date +%Y%m%d_%H%M).log

sar -u 1 60 > sar_cpu_$(date +%Y%m%d_%H%M).log

3.2.3 业务负载信息

  • 记录异常发生时间、持续时长、影响范围
  • 确认业务是否有批量操作(备份、数据导入、日志切割)
  • 收集应用日志中与 IO 相关的报错信息
  • 记录数据库慢查询、事务超时等现象

3.3 深度分析与排查

3.3.1 第一步:iostat 快速定位问题类型

执行‘iostat -x 1’观察 10-30 秒,根据指标特征判断问题方向:

表3 ‘iostat’输出指标与排查方向

指标组合

问题类型

排查方向

await 高 + aqu-sz 高 + % util 高

设备饱和

外接存储:升级存储容量 / 性能、分散 IO 负载、优化调度器;

本地磁盘:拆分业务、调整 IO 调度、扩容本地盘或更换高性能介质

await 高 + aqu-sz 低 + % util 低

设备响应慢

本地盘:检查磁盘健康、固件版本、RAID 状态;

外置存储:核查存储池、存储控制器、链路状态与 LUN 性能

iowait 高 + await 正常

并发同步 IO 过多

改用异步 IO、减少 fsync 频率、优化脏页参数

% util=100% + await 正常 + IOPS 低

多队列误判

多队列磁盘(NVMe 等)忽略 % util 指标,结合 IOPS、吞吐量、业务延迟综合判断是否达到硬件上限

r/s/w/s 高 + rkB/s/wkB/s 低 + avgrq-sz 小

随机小 IO 风暴

优化应用访问模式、增加缓存、使用 SSD

3.3.2 第二步:iotop 定位高 IO 进程

# 实时查看高IO进程(只显示有IO活动的进程)

iotop -o

# 按IO使用率排序,方便快速定位TOP进程

iotop -o -P

重点关注以下进程:

  • jbd2/<dev>-8:ext4 文件系统日志进程,高负载表示元数据写入频繁
  • kworker/uX:Y+flush-<主设备号>:<次设备号>:脏页回写进程,高负载表示脏页积压
  • 业务进程(如 mysqld、observer、java):确认是否为正常业务负载

3.3.3 第三步:fio 验证磁盘基准性能

测试原则:fio 会产生大量 IO 压力,生产环境优先采用采样观测方式,非必要不执行 fio 压测;如需测试,务必选定空闲裸盘 / 非业务分区,测试前做好数据备份。

# 1. 随机读IOPS测试(数据库场景)

fio --name=rand-read --ioengine=libaio  --rw=randread --bs=4k --direct=1  --iodepth=32 --numjobs=4  --size=10G --runtime=60 --group_reporting 

# 2. 顺序写吞吐量测试

fio --name=seq-write --ioengine=libaio  --rw=write --bs=128k --direct=1  --iodepth=16 --numjobs=2  --size=20G --runtime=60 --group_reporting

# 3. 模拟MySQL混合读写

fio --name=mysql-oltp --ioengine=libaio  --rw=randrw --rwmixread=70  --bs=8k --direct=1 --iodepth=16  --numjobs=8 --runtime=60 --group_reporting

结果解读:重点关注clat(完成延迟)的 P99 和 P99.99 值,而非平均值。数据库性能毛刺通常来自长尾延迟。

3.3.4 第四步:blktrace 深度时延分解

当 await 高但无法确定是调度器还是设备问题时,使用 ‘blktrace’ 追踪每个 IO 的生命周期:

# Step1:采集30秒数据(必须指定裸设备)

blktrace -d /dev/sda -w 30 -o /tmp/io_trace

# Step2:解析并生成时延报告

blkparse -i /tmp/io_trace -d /tmp/io_trace.bin btt -i /tmp/io_trace.bin > /tmp/io_latency.txt

表4 关键时延指标解读

指标

含义

高值原因

解决方案

Q2G

入队→获取请求

request 资源紧张、队列积压

调大nr_requests

G2I

获取→插入调度队列

IO 合并耗时、Plug 蓄流

随机 IO 场景关闭合并:echo 0 > /sys/block/<dev>/queue/nomerges

I2D

插入→分发到驱动

调度器延迟、队列积压

更换调度器(如 none/mq-deadline)

D2C

分发→设备完成

硬件本身慢、磁盘老化

更换磁盘、升级固件、检查 RAID 状态

Q2C

入队→完成

端到端总延迟

综合优化

3.4 根因定位与解决方案

3.4.1 常见根因分类与解决方案

表5 常见根因分类与解决方案

根因类别

典型现象

解决方案

脏页参数配置不当

写操作偶发卡顿、kworker 进程 CPU 高

调整vm.dirty_ratio和vm.dirty_background_ratio,见 3.4.2 节

IO 调度器不匹配

NVMe 磁盘延迟高、数据库性能差

NVMe 使用none调度器,HDD/SATA 使用mq-deadline

文件系统挂载参数不合理

元数据写入频繁、小文件性能差

添加noatime,nodiratime挂载参数

应用 IO 模式不佳

大量小文件随机读写、频繁 fsync

批量 IO、异步 IO、减少 fsync 频率

存储硬件瓶颈

D2C 时延高、IOPS / 吞吐量不达标

升级为 NVMe SSD、配置 RAID 10

内核统计 bug

%util 异常偏高(如 500%)但业务正常

升级内核到 4.19.90-25.7.v2101 及以上版本

3.4.2 场景化参数优化

1. 脏页回写参数优化

# 1.编辑/etc/sysctl.conf

## OLTP数据库(低延迟优先)

vm.dirty_ratio = 10 vm.dirty_background_ratio = 5

vm.dirty_expire_centisecs = 1500

vm.dirty_writeback_centisecs = 200

## 日志/文件服务器(高吞吐优先)

vm.dirty_ratio = 40 vm.dirty_background_ratio = 20

vm.dirty_expire_centisecs = 6000

# 2.生效配置

sysctl -p

2.IO调度器优化

# 临时修改

echo none > /sys/block/nvme0n1/queue/scheduler

echo mq-deadline > /sys/block/sda/queue/scheduler

# 永久生效(创建udev规则)

cat > /etc/udev/rules.d/60-ioscheduler.rules << EOF

ACTION=="add|change", KERNEL=="nvme[0-9]*", ATTR{queue/scheduler}="none" ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/scheduler}="mq-deadline" EOF

3.文件系统挂载优化

# 临时挂载

mount -o remount,noatime,nodiratime /data

# 永久生效(编辑/etc/fstab)

/dev/nvme0n1p1 /data xfs defaults,noatime,nodiratime 0 2

4.数据库服务器专项优化

# 1. 关闭预读(数据库有自身缓存)

echo 0 > /sys/block/nvme0n1/queue/read_ahead_kb

# 2. 调大队列深度

echo 256 > /sys/block/nvme0n1/queue/nr_requests

# 3. 设置性能模式

tuned-adm profile throughput-performance

  • 注意事项

1.% util 指标误区:对于 NVMe SSD 和 RAID 阵列,% util=100% 不代表设备饱和,需结合 IOPS、吞吐量和 await 综合判断。

2.O_DIRECT 与 O_SYNC 区别:O_DIRECT 仅绕过 Page Cache,不保证数据落盘;需同时使用O_DIRECT | O_SYNC或调用fsync()才能确保数据持久化。

3.脏页参数风险:vm.dirty_ratio=0会导致写操作完全失去缓冲,引发严重性能问题;data=writeback和barrier=0在断电时存在数据丢失风险,仅在有 UPS 或 RAID 卡带 BBU 时使用。

4.使用限制:必须指定裸设备(如 /dev/sda),不能是分区(如 /dev/sda1);高 IOPS 场景会生成大量数据,建议先采集 10 秒测试。

5.fio 测试风险:测试裸盘会覆盖数据,务必确认测试设备未挂载;生产环境测试需在业务低峰期进行,且控制测试时长。

6.麒麟操作系统特有问题:银河麒麟高级服务器操作系统V10SP1-0711 版本会将 sd 开头的设备强制设置为 bfq 调度器,导致数据库性能问题,需手动修改 udev 规则。

附:实际案例

案例 1:BFQ 调度器导致 MySQL 事务提交超时

现象:银河麒麟高级服务器操作系统V10 ARM 虚拟机(SATA 总线),MySQL 事务提交超时,%util 高达 100%,await 平均 50ms。

图1 现象截图

排查过程:

1.‘iostat -x’显示 await 高、aqu-sz 高、% util=100%;

2.‘cat /sys/block/sda/queue/scheduler’输出[bfq] mq-deadline none kyber;

3.确认系统为 0711 版本,存在 udev 规则强制将 sd 开头设备设为 bfq,数据库推荐使用mq-deadline。

图2 调度器推荐

解决方案:

# 临时修复

echo mq-deadline > /sys/block/sda/queue/scheduler

# 永久修复

vim /lib/udev/rules.d/60-block-scheduler.rules

# 将bfq改为mq-deadline

效果:MySQL 事务提交延迟从 50ms 降至 5ms,iowait 降至 10% 以下。

案例 2:脏页参数配置不当导致写性能波动

现象:dd 拷贝 400MB 数据,3-5 次中有 1 次耗时 5 分钟,其余几秒完成;使用oflag=direct时速度稳定。

排查过程:

1.‘sysctl vm.dirty*’显示vm.dirty_ratio=0和 vm.dirty_background_ratio=0;

图3 异常内核参数配置示例

2.确认是为了 "数据安全" 错误配置了脏页参数,对比验证该参数影响了读写性能。

图4 脏页参数变更前后性能对比

解决方案:

# 恢复正常脏页参数

sysctl -w vm.dirty_ratio=10

sysctl -w vm.dirty_background_ratio=5

sysctl -w vm.dirty_expire_centisecs=1500

sysctl -w vm.dirty_writeback_centisecs=200

效果:dd 拷贝速度稳定在 200MB/s 以上,无波动。

案例 3:内核统计 bug 导致 % util 异常

问题描述:

在使用过程中,内核升级到4.19.90-25.7.v2101版本的内核之后,运用场景io负载基本未变化,有发现磁盘的%util相对上4.19.90-25.4.v2101版本有偏高的情况。

图5 现象截图

问题说明:

%util 指标说明:iostat 的 %util 来源于 /proc/diskstats 第 13 字段,即设备有 I/O 在处理的时间(不区分并发个数),对时间求导即为 %util,表示设备“非空闲”时间占比。

差异原因:旧内核(4.19.90-25.6.v2101 及之前)中,I/O 统计函数存在重入风险,统计结果作为类全局数据缺乏保护,会发生“覆盖冲刷”——正在处理的 I/O 被误判为已完成、设备空闲,导致第 13 字段增量偏小、%util 被低估。该问题已在 4.19.90-25.7.v2101 中修复。

结论:两个内核 %util 表现出的差异即源于此,4.19.90-25.7.v2101 的统计结果更准确。

建议:

由于 %util 指标准确性存在问题,不建议作为参考依据;评估磁盘 I/O 性能时,建议重点关注 IOPS、吞吐量(MB/s)及 await(平均 I/O 等待时间)等指标。