压测ESSD云盘性能的方法

登录注册

压测ESSD云盘性能的方法

来源:网络
更新日期:2020-08-28

摘要：建站服务器这篇文章主要介绍压测ESSD云盘性能的方法，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！如何压测 ESSD 云

建站服务器

这篇文章主要介绍压测ESSD云盘性能的方法，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

如何压测 ESSD 云盘的性能

ESSD 云盘，又称增强型（Enhanced） SSD 云盘，是阿里云全新推出的超高性能的云盘产品。由于压测云盘的性能时，云盘本身以及压测条件都起着重要的作用，因此本文提供了如何配置合适的条件压测 ESSD 云盘性能的示例，并测试出 100 万 IOPS。

警告：

测试裸盘可以获得真实的块存储盘性能，但直接测试裸盘会破坏文件系统结构，请在测试前提前做好数据备，例如，创建磁盘快照。建议您只在新购无数据的 ECS 实例上使用工具测试块存储性能，避免造成数据丢失。

准备工作

为了充分发挥出多核多并发的系统性能，压测出 100 万 IOPS 性能指标，您可以参阅以下建议测试 ESSD 云盘的性能。

镜像推荐

您可以使用阿里云官方镜像中高版本的 Linux 镜像版本。例如，CentOS 7.4/7.3/7.2 64 位和 AliyunLinux 17.1 64 位操作系统。由于对应的驱动还不够完善，不推荐使用其他低版本的 Linux 镜像和 Windows 镜像。

工具推荐

您可以使用 FIO 作为云盘性能标准的测试工具。

实例规格推荐

目前只有存储增强型 g5se 实例规格族支持挂载 ESSD 云盘，您需要申请加入使用存储增强型 g5se 实例规格族白名单。申请审核完成后，您便可以同时选购存储增强型 g5se 实例规格族和 ESSD 云盘。

操作示例

以实例规格 ecs.g5se.18xlarge 为例，同时 ESSD 云盘的设备名为 /dev/vdb，示范通过随机写（randwrite）测试 ESSD 云盘的性能。

远程连接并登录到 Linux 实例。

运行以下命令安装 libaio 和 FIO。

sudo yum install libaio –y
sudo yum install libaio-devel –y
sudo yum install fio -y

运行 cd /tmp 切换路径。

运行 vim test100w.sh 新建脚本文件，并粘贴以下内容，脚本为随机写 randwrite IOPS 性能测试示例。

function RunFio
{
 numjobs=$1  # 实例中的测试线程数，如示例中的 8
 iodepth=$2  # 同时发出I/O数的上限，如示例中的 64
 bs=$3       # 单次I/O的块文件大小，如示例中的 4K
 rw=$4       # 测试时的读写策略，如示例中的 randwrite
 filename=$5 # 指定测试文件的名称，如示例中的 /dev/vdb
 nr_cpus=`cat /proc/cpuinfo |grep "processor" |wc -l`
 if [ $nr_cpus -lt $numjobs ];then
     echo "Numjobs is more than cpu cores, exit!"
     exit -1
 fi
 let nu=$numjobs+1
 cpulist=""
 for ((i=1;i<10;i++))
 do
     list=`cat /sys/block/vdb/mq/*/cpu_list | awk '{if(i<=NF) print $i;}' i="$i" | tr -d ',' | tr '\\n' ','`
     if [ -z $list ];then
         break
     fi
     cpulist=${cpulist}${list}
 done
 spincpu=`echo $cpulist | cut -d ',' -f 2-${nu}`
 echo $spincpu
 fio --ioengine=libaio --runtime=30s --numjobs=${numjobs} --iodepth=${iodepth} --bs=${bs} --rw=${rw} --filename=${filename} --time_based=1 --direct=1 --name=test --group_reporting --cpus_allowed=$spincpu --cpus_allowed_policy=split
}
echo 2 > /sys/block/vdb/queue/rq_affinity
sleep 5
RunFio 8 64 '4k' 'randwrite' '/dev/vdb'

注意：

因测试环境而异，脚本中您需要修改的命令行有：

命令行 list=cat /sys/block/vdb/mq/*/cpu_list | awk '{if(i<=NF) print $i;}' i="$i" | tr -d ',' | tr '\\n' ',' 中的 vdb。

命令行 RunFio 8 64 '4k' 'randwrite' '/dev/vdb' 中的 8、64、4k、randwrite 和 /dev/vdb。

直接测试裸盘会破坏文件系统结构，如果云盘上的数据丢失不影响业务，可以设置 filename=[设备名，如本示例中的/dev/vdb]。否则，请设置为 filename=[具体的文件路径，比如/mnt/test.image]。

运行 sh test100w.sh 开始测试 ESSD 云盘性能。

脚本解读

块设备参数

测试实例时，脚本 test100w.sh 中的命令echo 2 > /sys/block/vdb/queue/rq_affinity 是将 ECS 实例中的块设备中的参数 rq_affinity 值修改为 2：

参数 rq_affinity 的值为 1 时，表示块设备收到 I/O 完成（I/O Completion）的事件时，这个 I/O 被发送回处理这个 I/O 下发流程的 vCPU 所在 Group 上处理。在多线程并发的情况下，I/O Completion 就可能集中在某一个 vCPU 上执行，这样会造成瓶颈，导致性能无法提升。

参数 rq_affinity 的值为 2 时，表示块设备收到 I/O Completion 的事件时，这个 I/O 会在当初下发的 vCPU 上执行。在多线程并发的情况下，就可以完全充分发挥各个 vCPU 的性能。

绑定对应的 vCPU

普通模式下，一个设备（Device）只有一个请求列表（Request-Queue）。在多线程并发处理 I/O 的情况下，这个唯一的 Request-Queue 就是一个性能瓶颈点。

最新的多队列（Multi-Queue）模式下，一个设备（Device）可以拥有多个处理 I/O 的 Request-Queue，可以充分发挥后端存储的性能。如果您有 4 个 I/O 线程，您需要将 4 个线程分别绑定在不同的 Request-Queue 对应的 CPU Core 上，这样就可以充分利用 Multi-Queue 提升性能。

为了充分发挥设备（Device）的性能，需要将 I/O 线程分发到不同的 Request-Queue 上处理。脚本 test100w.sh 中通过 fio --ioengine=libaio --runtime=30s --numjobs=${numjobs} --iodepth=${iodepth} --bs=${bs} --rw=${rw} --filename=${filename} --time_based=1 --direct=1 --name=test --group_reporting --cpus_allowed=$spincpu --cpus_allowed_policy=split 分别将几个 jobs 绑定不同的 CPU Core 上，其中 vd* 为您的云盘设备名，例如，/dev/vdb。

FIO 提供了参数 cpus_allowed 以及 cpus_allowed_policy 用来绑定 vCPU。以上命令一共运行了几个 jobs，分别绑定在几个 CPU Core上，分别对应着不同的 Queue_Id。

关于如何查看 Queue_Id 绑定的 cpu_core_id，您可以：

运行 ls /sys/block/vd*/mq/ 查看设备名为 vd* 云盘的 Queue_Id，例如 vdb。

运行 cat /sys/block/vd*/mq/*/cpu_list 查看对应设备名为 vd* 云盘的 Queue_* 绑定到的 cpu_core_id。

以上是压测ESSD云盘性能的方法的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！