サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開

2012年8月8日

米国でビデオオンデマンドサービスを提供しているNetflixは、Amazonクラウド上でわざとシステム障害を起こすためのツール、Chaos Monkeyをオープンソースで公開しました。

Chaos MonkeyはAmazonクラウド上で使うツール。Amazonクラウド上のインスタンスをランダムに落としまくることで、サービスに対して仮想的な障害を引き起こしてくれます。

NetflixはこのChaos Monkeyを実環境で使うことで、本物の障害が起きたとしてもサービスが継続できることをテストし続けてきました。Netflixのブログ「Chaos Monkey released into the wild」から引用します。

There are many failure scenarios that Chaos Monkey helps us detect. Over the last year Chaos Monkey has terminated over 65,000 instances running in our production and testing environments. Most of the time nobody notices, but we continue to find surprises caused by Chaos Monkey which allows us to isolate and resolve them so they don't happen again.

さまざまなシナリオの障害の検出をChaos Monkeyは手伝います。昨年、Chaos Monkeyは本番環境やテスト環境で6万5000以上のインスタンスを強制終了させました。たいがいの場合そのことに誰も気づきませんが、たまにChaos Monkeyが原因で驚くようなことを発見することができ、それを分離し、解決できるようにしてくれます。そのおかげでそれはもう二度と起こりません。

エンジニアがいるときだけ、わざと障害を起こせる

Chaos Monkeyはあくまでも障害を発見し、対策するのを助けるためのツールですから、デフォルトでエンジニアが対応できる時間帯に活動するようにセットされています。

The service has a configurable schedule that, by default, runs on non-holiday weekdays between 9am and 3pm.

サービスはスケジュールが設定可能で、デフォルトでは平日の午前9時から午後3時のあいだ実行するようになっている。

（略）we want to make sure there are people around to resolve and learn from any problems. With this in mind, Chaos Monkey only runs within a limited set of hours with the intent that engineers will be alert and able to respond.

私たちは、問題を解決し、そこから学べるような人がその場にいることを確認しておきたいのだ。このことを念頭に、Chaos Monkeyは限られた時間設定の中でのみ動くようになっており、エンジニアが対応できるようにしている。

Chaos Monkeyは障害を起こす確率も調整可能で、最大でAuto Scaling Groupから1日に1つのインスタンスを強制終了。これを0.2に落とすと週に1回程度になります。