クラウドのベンチマーク2種。速いのはグーグルかAmazonか、Windows Azureか、セールスフォースか？

クラウドを対象にしたベンチマークテストの結果が最近になって2種類ほど公開されているので紹介します。

TPC-Wによるeコマースサイトのベンチマーク

High Scalability - High Scalability - End-To-End Performance Study of Cloud Services

1つ目はHigh Scalabilityの記事「End-To-End Performance Study of Cloud Services」で公開されたベンチマーク。スイスの「Systems Group」が作成した資料が基になっています。

このベンチマークは、eコマース系WebサイトのベンチマークテストであるTPC-Wを基にしたベンチマークソフトをそれぞれのクラウドに用意し、その実行速度をAmazonクラウド上に構築したWebブラウザのエミュレーション環境による同時アクセスによって測定する、というもの。

結果は、Amazon S3とWindows Azureは9000EBs（Emulated Browsers）まで対応でき、Amazon RDSは3500EBsあたりで頭打ち。興味深いのはAmazon Simple DBの方が低い性能となっているところ。Google App Engineは500EBsのあたりですぐに性能劣化が始まっています。

記事の説明によると、これは今回のベンチマークではデータベース側でもっとも強い一貫性を採用したためではないかとしています。

オブジェクト操作、CPU、I/Oの独自ベンチマーク

On the performance of clouds - O'Reilly Radar

もう1つのベンチマーク結果はO'Reilly Radarの記事「On the performance of clouds」です。BitcurrentがWebmetricsと共に調査した結果とのこと。

このベンチマークでは、以下の操作をする独自のベンチマークを作成しています。

• 小さなオブジェクトの操作（Tiny Object）
• 大きなオブジェクトの操作（Large Object）
• 100万回計算（CPU）
• データベース50万行スキャン（I/O）

結果として、小さなオブジェクトの操作はどのクラウドでも高速に処理されており、大きなオブジェクトもSalesforce.comとGoogle App Engineの2つのPaaSでは比較的高速に処理されていることが分かります。

また、I/OではGoogle App Engineが高速な一方で、CPUでAmazon EC2が遅いのは、最小構成のインスタンスだからではないかと記事では説明されていました。