クラウドのリージョンを丸ごと落とす過酷な試験を実現する「Chaos Kong」、Netflixが発表。「カオスエンジニアリング」の指針も表明

2015年9月28日

動画配信サービスのNetflixが、Amazonクラウド上のサーバをランダムに落とすことでシステムの堅牢性をチェックするという画期的な考え方のツール「Chaos Monkey」を発表したのは2012年でした。

Netflixは普段からChaos Monekeyでシステムをテストし続けていたおかげで、昨年10月にAmazon EC2の全インスタンスの約10%がリブートされるという大規模メンテナンスも難なく乗り切ることができたと報告しています

The Netflix Tech Blog: Chaos Engineering Upgraded

そしてこのChaos Monkeyの成功に基づき、さらに過酷な状況をシミュレーションするツールがNetflixから発表されました。Amazonクラウドのリージョンを丸ごと落とす状況をシミュレートする「Chaos Kong」です。

Netflixは先週発生した米東リージョンにおけるDynamoDBの大規模障害を、このChaos Kongでテストしていたおかげで乗り切ったと説明しています(一方でNetflixは障害の影響を受けたとの報道もあります)。

By running experiments on a regular basis that simulate a Regional outage, we were able to identify any systemic weaknesses early and fix them. When US-EAST-1 actually became unavailable, our system was already strong enough to handle a traffic failover.

(Chaos Kongによる試験を)定期的に実行することによってリージョンが落ちることをシミュレートでき、早期にシステムの脆弱性を発見し修復できた。米東第1リージョンが実際に落ちたときも、トラフィックをフェイルオーバーさせるだけの堅牢性がすでに私たちのシステムには備わっていたのだ。

Netflixはこの、Chaos MonkeyやChaos Kongといった方法論をさらに推し進めていると、ブログ「Chaos Engineering Upgraded」で説明しています。

We learn about the behavior of a distributed system by observing it in a controlled experiment, and we use those learnings to fortify our systems before any systemic effect can disrupt the quality service that we provide our customers. We call this new discipline Chaos Engineering.

コントロールされた試験を観察することで、私たちは分散システムの振る舞いというものを学んでいる。そして、システム障害の影響によってお客様に提供しているサービスの品質が損なわれる前に、ここで学んだことでシステムをより強固にしているのだ。私たちはこれを新しい規律「Chaos Enginieering」(カオスエンジニアリング)と呼んでいる。

Chaos Engineeringをドキュメントとしてまとめた「PRINCIPLES OF CHAOS ENGINEERING」の公開も合わせて発表されています。

あわせて読みたい

クラウド ソフトウェアテスト・品質




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本