Google App Engineが昨夜ダウン。障害がごく一部に残り、対応チームは現在も作業中

日本時間の昨夜、米国時間の24日午前7時53分（太平洋標準時、日本時間25日0時53分）にGoogle App Engineに障害が発生したことが報告されました。障害はほぼ修復するも、ごく一部に影響が残り続けていると報告されており、対応チームはまだ作業中です。

第一報が入ったのは障害発生から約40分後。Google Groupsの「Google App Engine Downtime Notify」スレッドに対応チームから書き込みが行われました。それによると、予期せぬ障害により大きな影響がApp Engineに生じており、対応チームが修復に対応。ただし、ETA（Estimate Time of Arrival、つまり復旧予定時間）などはこの時点では未定。

Since 7:53am PST, App Engine has been experiencing an unexpected outage affecting the majority of App Engine applications. The team is working quickly to correct the cause and will have an ETA on the fix shortly.

次の報告は、その約1時間後の8時36分（日本時間25日1時36分）。バックアップセンターにも問題があると報告。

We are still actively working on the on-going outage. We've also experienced a problem with our backup datacenter.

さらに1時間後の9時48分（日本時間2時48分）、リードオンリーモードで復旧。

As of 9:48am, all applications should now be available in read-only mode.

データベースのリード／ライトともに復旧したはずだ、との報告が10時19分（日本時間3時19分）に行われます。

As of 10:09am, all application should be serving traffic and successfully reading/writing from the datastore. Again, apologies for the inconvenience of the outage. We will follow up with a post-mortem.

しかしまだ一部で障害が残っていることが、13時（日本時間午前6時）に追って報告されます。ごく一部でデータストアエンティティグループとcronのジョブが正しく動作していないとのこと。この2つは今回の障害とリンクした現象と推測され、最優先で解決に取り組むとのこと。

As of 1:00pm PST, we are seeing lingering write issues with a small percentage of datastore entity groups. As well, a small percentage of cron jobs are not running correctly. We believe both issues are linked to the unforeseen outage earlier today and we are treating them as high priority.

14時（日本時間午前7時）、まだチームは調査中との経過報告。

As of 2:00pm PST, we are continuing to investigate the lingering datastore and cron issues.

15時（日本時間午前8時）、データストアへの書き込みとトランザクション中の読み込みに絞り込んだと経過報告。

As of 3:00pm PST, we have determined the datastore writes and only reads within transactions are affected.

18時（日本時間午前11時）、ごく一部のエンティティグループに問題が限られていることを報告。

As of 6:00pm PST, this issue has been limited to a very small set of existing entity groups.

19時18分（日本時間12時18分）、すべてのApp Engineアプリケーションに対して15時の時点で課金を停止したことが報告されています。

Note that at 3pm, we disabled billing on all App Engine applications. We will also not be charging for any of today's usage before the outage.

現時点（日本時間2月25日12時20分）でここまで途中経過が報告されています。