ディスクのベンチマークソフト3つの比較とMicrosoft DiskSpdでの検証

このカテゴリーでは日常で生じたITに関係するトピックをアトランダムに書き留めています。

今回はSSDやHDDなどのディスクのパフォーマンスをテストする話題になります。

使用する3つのベンチマークソフトとバージョンは下記になります。

• CrystalDiskMark 8.0.4
• ATTO Disk Benchmark 4.01.0f1
• MiniTool Partition Wizard 12.5

ベンチマークソフト3つの選定

※ダウンロードサイトやインストール方法につきましてはGoogle検索していただくと該当するページが出て来ますので、ここでは省略致します。

どのような条件でディスクのベンチマークテストをするか?

今回は同一のパソコンのハードウェア環境で3つのベンチマークソフトを使ってディスク性能の結果がどのような値になるのか?を比較しようとしています。

なお弊社パソコンのハードウェア環境は下記のようになります。

• CPUコアは4、論理プロセッサ数は8
• CドライブはSSDでインターフェースはNVM Express、DドライブはHDDでインターフェースはSerial ATA

※折角なのでCドライブ(SSD)とDドライブ(HDD)ともにテストします。

今回の性能比較で考慮すべきポイントを列挙いたします。

• シーケンシャル処理 vs ランダム処理
  • ATTO Disk Benchmarkはランダム処理の設定ができなかったので、シーケンシャル処理のみでテストします。同じパソコンでの比較になるので結果の煩雑化を避けるために一本に絞る事にします。
• 読み込みテスト vs 書き込みテスト
  • 両方テストします。
• シングルスレッド vs マルチスレッド
  • 両方テストします。
  • マルチスレッドでは対象データの別々の箇所を並行して処理する事ができる認識です。ただしシーケンシャル処理ではスレッドを分ける分だけ切替にかかる時間が発生するのでシングルスレッドよりも結果が悪くなる想定です。
    • ATTO Disk Benchmarkはマルチスレッドの設定ができませんでした。そこでマルチスレッドの確認はATTO Disk Benchmarkを除いて実施します。
• スレッドの総数
  • 1スレッド(シングルスレッド)の場合と、CPUコア数に等しい4スレッド(マルチスレッド)の場合でテストします。
    • ATTO Disk Benchmarkを除いて実施します。
• ブロックサイズ
  • 今回は同一パソコンでの比較なのでハードディスクのチャンクサイズ(データを読み書きする際の単位)を気にせずに適当なサイズである32KBにしています。
  • ATTO Disk BenchmarkとMiniTool Partition WizardはブロックサイズをFrom Toで設定する事ができるため1回の操作でブロックサイズが異なる多くの結果を得る事ができます。それに対してCrystalDiskMarkはスレッドの総数や未処理のI/O要求の数と合わせて4パターンを設定すれば1クリックで4つの結果を得る事ができます。
• キュー(queue)に入る未処理のI/O要求の数
  • スレッドが1つのファイルにだけアクセスしている場合にキューが1であればI/Oは同期的に行われます^[1]。マルチスレッドのテストを考えると同期的な操作を超えた値にする必要があり取敢えず8に設定しています。
• 処理するテストファイル(ターゲット)のサイズ
  • 根拠はありませんが1GBにしています。
  • CrystalDiskMarkではデフォルトではランダムなのですが、すべて0x00(null文字)を選択する事ができます。まだ何もご説明できていませんがMicrosoftのDiskSpdでテストファイルを自動生成すると、読み込みではすべて0x00、書き込みではランダム文字列の繰り返しでテストファイルが作成されます。そのためCrystalDiskMarkではデフォルトを使用する事にします。
• キャッシュの制御
  • CrystalDiskMarkとMiniTool Partition Wizardにキャッシュ制御の設定はありませんがATTO Disk BenchmarkではDirect I/OとBypass Write Cacheの設定が可能です。詳細は後述しますが、この設定はDirect I/Oは有効にして、Bypass Write Cacheは有効にしない設定が3つのソフトウェアの条件が揃うと推察されます。

[1]：GitHub microsoft/diskspd 「Customizing tests – Number of outstanding I/O requests」–https://github.com/Microsoft/diskspd/wiki/Customizing-tests

それぞれのベンチマークソフトでの条件設定と実行の仕方

前章の条件をどのように設定するか?をご説明致します。

CrystalDiskMark

CrystalDiskMarkにはインストーラ版もありますがZIP版をダウンロードした時は解凍してwindows10であればDiskMark64.exeを起動します。

これでCドライブをテストする準備が終わりましたので、続いて実行して行きます。

ATTO Disk Benchmark

インストールされたプログラムをWindowsのスタートから起動します。

これでCドライブをテストする準備が終わりましたので、続いてStartボタンを押して実行して行きます。

MiniTool Partition Wizard

インストールされたプログラムをWindowsのスタートまたはディスクトップのアイコンから起動します。

以上でCドライブでスレッド数が1の場合のテスト準備が終わりましたので、開始ボタンをクリックします。

以上ですべての処理が終わりました。

3つのベンチマークソフトの結果をまとめて比較

前章で画面キャプチャーした結果を一覧でまとめたのが次の図になりますが、先に項目をご説明いたします。

• 設定
  • SEQ32KQ8T1はシングルスレッド、SEQ32KQ8T4はマルチスレッドになります。
  • ATTO Disk Benchmarkにはマルチスレッドのテストがありません。
  • T4/T1はマルチスレッドの値をシングルスレッドの値で割ったパーセント表示になります。
    • シングルスレッドと比べてどのくらいマルチスレッドの値が下がっているかを表します。
• SSDとHDDにあるW/R
  • 書き込みの値を読み込みの値で割ったパーセント表示になります。
    • 読み込みと比べて書き込みの値がどのくらい下がっているか表します。

各ベンチマークソフトで結果にばらつきがあるように見えますが下記の事を考慮すると黒字の値は特段差があるとは言えない認識です。

• windowsでは多くのサービス・バックグラウンドプロセスが動いてるためにクリアーな状態でベンチマークテストが実施されてる分けではない。
• ベンチマークソフト自体がCPU・メモリ・ディスクなどのリソースを使用している。

なおCrystalDiskMarkは5回テストを実施して、その中で一番値の大きい結果を最終的に残す仕様になっています。

その途中結果は画面に表示されるのですが、見ていると割と大きく値が変わって行くのが解ります。

他の2つのベンチマークソフトはそれぞれ1回しかテストを実施していないので、そういう意味では値が低く出ていてもやむを得ないところがあります。

ただし、Dドライブ(HDD)のマルチスレッドの値をシングルスレッドの値で割ったパーセンテージに関しては顕著な違いで現れています。(図で赤字表記している箇所になります)

そこで後段ではMicrosoftが提供しているストレージベンチマーク用のコマンドラインツールを使って値を検証して見たいと思います。

Micorosft DiskSpdでの検証

検証という言葉が適切かどうかは議論のあるところですが、これまで見てきた3つのベンチマークソフトとMicrosoftが自社で使用しているストレージベンチマーク用のコマンドラインツールDiskSpdとの値の比較を致します。

Micorosft DiskSpdについて

Microsoft DocsのAzureの中に下記の「DISKSPD を使用してワークロード ストレージのパフォーマンスをテストする」というドキュメントが置かれています。

DISKSPD を使用してワークロード ストレージのパフォーマンスをテストする - Azure Stack HCI

このトピックでは、DISKSPDを使用して、ワークロードストレージのパフォーマンスをテストする方法に関するガイダンスを提供します。

learn.microsoft.com

なお英語にはなりますが、リポジトリの中にドキュメントが置かれていますので、詳細なパラメータの設定方法につきましては下記をご参照いただければ幸いです。

• Command line and parameters
• Customizing tests

DiskSpadのパラメータ設定

前章でご紹介した「Command line and parameters」のドキュメントをご確認いただくと解るのですが、DiskSpdには数多くのパラメータが存在しています。

そのためパラメータ設定の仕方によって得られるベンチマークテストの結果が変わってくる事になります。

先の章で「3つのベンチマークテストの結果に大きな差があるとは言い切れない」と書きましたが、実はCrystalDiskMarkはDiskSpdをベンチマーク機能として使用している事が明記されています。^[2]

[2]：「CrystalDiskMark ベンチマーク機能」–https://crystalmark.info/ja/software/crystaldiskmark/

そうなりますとCrystalDiskMarkで使用しているDiskSpdのパラメータを流用して確認するのが今回は良さそうです。

有り難いことにCrystalDiskMarkはソースコードもプログラムと一緒に公開されています。^[3]

[3]：「ダウンロード」–https://crystalmark.info/ja/download/

そこで公開されているソースコードからDiskSpadのパラメータを参考にして検証する事にします。

CrystalDiskMarkで設定されているDiskSpdのパラメータ

ソースコードCrystalDiskMark8_0_4Srcの中にDiskBench.cppというファイルがありますが、その中に下記図のようなコーディング部分があります。

どうやら825行目がシーケンシャル読み込み、848行目がシーケンシャル書き出しのパラメータ設定になっていると推察されます。

上記を参考にして今回検証に使用するパラメータは下記と致します。

※出典：Command line and parametersの日本語訳

管理者コマンドプロンプトでの実行ログ

管理者として実行したコマンドプロンプトで実行した結果は下図のようになります。

上から順に下記のテストを実行しています。

1. Cドライブのシングルスレッドでの読み込み
2. 〃書き込み
3. Cドライブのマルチスレッドでの読み込み
4. 〃書き込み
5. Dドライブのシングルスレッドでの読み込み
6. 〃書き込み
7. Dドライブのマルチスレッドでの読み込み
8. 〃書き込み

赤色下線の4ヶ所はすべてマルチスレッドの場合になりますが、実行時にワーニングが表示されている事が解ります。

ワーニングに書かれている内容は「対象のアクセスパターンがシーケンシャルではないので、-siを検討」になる認識です。

-siパラメータの内容は次のように書かれています。※出典：Command line and parametersの日本語訳

書かれている内容はとても難解ではありますが、一般的にマルチスレッドで動くプログラムを作る時は各スレッド間で情報を共有していないと想定外の結果になる場合があります。

そう考えるとこの-siパラメータは情報を共有させるものであると理解できます。

実際に-siパラメータを追加してワーニングが表示されたテストを再度実行した結果は下図のようになります。(赤色枠線の部分)

-siパラメータを追加するとワーニングが出力されずに実行できました。

なおこの-siパラメータが有るべきなのか?につきましては結果を見た後でご説明いたします。

DiskSpdでの実行結果のまとめ

前章で実行した結果を―siパラメータを追加したテストも含めて一覧にしたのが下図になります。

実際に出力された結果の一部をエビデンスとしてまとめて見ました。なお赤枠で囲んだところが結果の数値が表示されていますが、マルチスレッドの場合は各スレッドの値の合計が結果の値になります。

なかなか説明し難い結果になっていますが、特徴を列挙すると下記のようになります。

-siパラメータが無い場合

• CドライブSSDの「読み込み」の結果はシングルスレッド・マルチスレッドともに他と比べて高い値になっている。
• DドライブHDDのマルチスレッドの場合の結果はCrystalDiskMarkとMiniTool Partition Wizardと近しくなっている。
  • 「書き込み」のマルチスレッドの値は他と比べて低い値になっている。

-siパラメータが有る場合

• CドライブSSDの「読み込み」の値はシングルスレッドよりも高い値になっている。(背景薄緑色)
• DドライブHDDの値は-siパラメータが無い時よりも結果の数値は向上する。(背景薄赤色)

-siパラメータは有った方が良いのか?

CrystalDiskMarkとMiniTool Partition Wizardの値は-siパラメータを付けない時の値に近しい事は前章でご説明致しました。

なおMiniTool Partition WizardがDiskSpdを使用しているか?は公開されていませんがマルチスレッドの場合のスレッド間の情報共有はしていないのではないか?と推察いたします。

そうなると現状は「-siパラメータが無い」形が使われているベンチマークソフトが一般的であるということになります。

ところで「-siパラメータは有った方が良い」とする場合にこれまでの結果でひとつ気になっているのは「SSDのシーケンシャル処理の読み込みでシングルスレッドよりもマルチスレッドの方が数値が高い」という点です。

ただし、これは当初の条件設定において「キュー(queue)に入る未処理のI/O要求の数」を8にしたために、それがボトルネックになっているのではないか?と気付きました。

そこでSSDのSEQ32KQ8T1の条件を-o8から-o32に変更して追加テストをして見ました。ちなみに-o32にした理由は4スレッドなので8×4=32という計算からです。

diskspd -t1 -o32 -b32k -w0 -W0 -d10 -S -ag -c1G C:\IO.dat > seq-rd-C1-1.txt

上記の結果を見ると、マルチスレッドの時の値「3247.72」と比較して赤枠のシングルスレッドの値の方が若干上回っています。

以上の結果から、気になる点は解消されるので、「-siパラメータは有った方が良い」と判断いたします。

まとめ

3つのベンチマークソフトを使用したディスクのベンチマークテストについてご説明してきました。

また後段ではDiskSpdを使って、「どのような条件でハードディスクのベンチマークテストをするか?」によっても得られる結果が変わてくる事を見てきました。

今回のベンチマークテストをしながら思ったのは、パソコンで様々なプロセスが動いている状況ではテストで得られる結果にバラつきがあるために、「より良い値を追求する」のではなく「値の傾向を把握する」という風に捉えないとエンドレスにテストし続ける事になりそうです。

その上で今回の結果を踏まえるとベンチマークテストする際のパターンとしては下記のようにするのが良さそうです。

• 読み込みテストと書き込みテストは両方実施する。
• シーケンシャル処理はシングルスレッドで実施する。
  • キュー(queue)に入る未処理のI/O要求の数はボトルネックにならないように大き目に設定する。一概に数値を断定することはできないので試行錯誤していただければと思います。
• マルチスレッドはランダム処理で実施する。
  • CrystalDiskMarkまたはMiniTool Partition Wizardを使用する。
  • スレッド数はハードウェア環境に合わせて決める。
• ブロックサイズ
  • ハードディスクのチャンクサイズ(データを読み書きする際の単位)を考慮するか、From Toの範囲で複数回実施する。

以上最後までご一読いただき誠にありがとうございました。