「ストレージの事前検証が十分にできなかった」さくらインターネット田中社長、クラウドのストレージトラブルの原因について

2012年6月25日

さくらのクラウドで昨年から発生したストレージのトラブルについて、さくらインターネットは今日、詳細な報告書を公開しました。

Publickeyでは同社代表取締役社長田中邦裕氏、さくらインターネット研究所所長鷲北賢氏に対してインタビューを行い、トラブルを引き起こした原因がどこにあり、その教訓は何なのかを聞きました。

ストレージトラブルの教訓は「リスクを引き受けるため、十分に検証せよ」

──── 「さくらのクラウド」でのストレージのトラブルについて、今回報告書を公開され、また新たな自社製ストレージも発表されました。これまでを振り返っていただくと、トラブルを引き起こした原因はどこにあったとお考えですか？

田中氏　ストレージ装置の採用時にきちんとしたテストをできていなかった。具体的にいえばフル負荷をかけたテストができていなかったのが原因です。本来サービス提供者である自社が負うべきリスクを、製品ベンダを信用してベンダに移転していたことも要因としてあげられます。

当社に共有ストレージの知見が不足していた中で、その足りない知見をベンダに頼りながらやっていました。これは一般のシステム開発ではとりうる策だとは思いますが、パブリッククラウドではできませんでした。

当社では、ネットワーク機器やサーバなどは採用前にかなり検証しています。「カタログスペックは信用できない」というのがキーワードになっていて、ネットワークのスループットもサーバの消費電力も実際に検証してみないと本当のところは分かりません。

検証して問題があるのならば、そういう機器を採用すべきではなかった。

ただ、共有ストレージについては十分に検証する方法が分かっていませんでした。それでも、ベンダのサポートがあればなんとかしてくれるだろう、という甘えがあったのかもしれません（新野注：結果的にベンダサポートでは、問題が解決できなかったことが報告書で示されている）。

鷲北氏　共有ストレージの限界を見る上での最大の問題は、やはり多数のクライアントを用意するのが難しかったことでした。限定的なクライアント数しか用意できませんでした。クライアント数が少なくても、それぞれの圧力が大きければストレージに対する総合的な圧力は同じで、クライアント数が多いテストを代替できると考えていました。

しかし実際には、処理量が数千に分散されたときの動作チェックができていませんでした。

田中　一週間かけて起きる問題というのもあって、数時間や数日ではなく、数週間といった期間をかけて負荷テストをやっていなかった、というところにも問題がありました。

結論として、やはり機器の性能はカタログ通りではない（だからきちんと検証が必要で）、またパブリッククラウドでは、通常のベンダサポートでは間に合わない。そうしたことが教訓だったと思います。