グーグルが取り組む次世代Bigtable、全世界規模でサーバ1000万台を自動化して構築する「Spanner」プロジェクト

2009年10月21日

Large-Scale Distributed Systems and Middleware (LADIS)

米国の計算機学会であるACM(Association for Computing Machinery)が開催した、大規模分散システムのワークショップ「LADIS 2009(Large Scale Distributed Systems and Middleware)」の2日目、10月11日のキーノートスピーチで、グーグルが現在取り組んでいる「Spanner」プロジェクトの中味が明らかになりました。

キーノートスピーチを行ったのは、グーグルのSystems Infrastructure Groupに所属するフェローのJeff Dean氏。同氏は、現在グーグルが「Spanner」というプロジェクトに取り組んでおり、それは「Storage & computation system that spans all our datacenters」(グーグルの全データセンターにまたがるストレージとコンピュテーションのシステム)になるとのことです。

公開されているプレゼンテーション資料から、ポイントとなるシートを引用します。

fig

グーグルが現在取り組んでいるプロジェクト「Spanner」は、グーグルの全データセンターにまたがるストレージとコンピュテーションのシステムで、単一のグローバルな名前空間を持ち、Bigtableに似ているが、階層型のディレクトリときめの細かい粒度でレプリケーションが行われる、とあります。

さらに、データセンター間での強い一貫性と弱い一貫性をサポートし、データの強い一貫性(strong consistency)に関してはPaxosによるtabletのレプリケーションによって実現される予定。この部分は以前の記事「データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ」も参照してみてください。

そして、データのアロケーションなどは自動的に行われることになるそうです。

fig

「Spanner」のゴールとして想定されているのは、100万台から1000万台のサーバを全世界で運用すること。サーバは数百から数千の地域に分散して世界中に置かれ、10億台のクライアントをサポートすることになるとのこと。

そして99%の範囲のレイテンシが50ミリ秒以下、保存されるデータは少なくとも2つを欧州、2つを米国、1つをアジアに保存するとあります。

ちなみに、2008年度の日本国内でのサーバ/ワークステーションの出荷実績は約45万台。約3億ユーザーをサポートするFacebookの現時点でのサーバが約3万台ですから、100万台から1000万台のサーバという数字がいかに莫大な数なのかお分かりいただけると思います。

マイクロソフトのWindows AzureやAmazon EC2などに関わり、大規模分散システムの分野で著名なJames Hamilton氏は、このJeff Dean氏のプレゼンテーションをブログで取り上げ、「Working on next generation Big Table system called Spanner」(グーグルはSpannerと呼ばれる次世代のBigtableに取り組んでいる)と書いています。

また、国立情報学研究所の佐藤一郎氏はTwitterで次のようにつぶやいています(その1その2)。

fig

管理の多くを自動化したうえで、その運用をどこかにアウトソースするのではないかとの読みです。たしかにこう指摘されるとありそうですね。

以前の記事「グーグルの最新のデータセンターは非常識なほど進化している」では、「月を追いかけるデータセンター」というコンセプトがあると紹介しましたが、Spannerはまさにそれを地でいく構想ということになりそうです。

関連記事

Tags: クラウド ストレージ Google データセンター

このエントリーをはてなブックマークに追加
ツイート
follow us in feedly




タグクラウド

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本