こっちは本物のMapReduceだ! グーグルがAppEngine-MapReduceをオープンソースで開発中

2010年5月25日

グーグルはGoogle App Engine上でMapReduce処理を実現するオープンソースを開発中だと、先日行われたイベントGoogle I/Oで明らかにしています。プロジェクトのホームページもGoogle Code上に「appengine-mapreduce - Project Hosting on Google Code」として公開されています。

appengine-mapreduce - Project Hosting on Google Code

Reduce処理やJava版はこれから

1つ前の記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」では、グーグルがSQLライクな命令を用いて大規模データ処理のサービスを提供することをお伝えしました。

記事でも書いたとおり、これは内部でMapReduceを使っているかどうかは不明で、命令もSQLライクになっているため開発者、利用者ともに内部の仕組みは隠蔽されています。あくまでも「MapReduce的」なサービスといえます。

しかしオープンソースの「appengine-mapreduce」は、Google App Engine上でMapReduceの実装を目指したプロジェクトです。ホームページでは以下のように説明されています。

AppEngine-MapReduce is an open-source library for doing MapReduce-style computations on the Google App Engine platform.

AppEngine-MapReduceは、MapReuceスタイルの処理をGoogle App Engineプラットフォーム上で行うためのオープンソースライブラリです。

現在はPythonバージョンでMapperの試験的な実装が行われている状態で、今後Reduce処理やJavaバージョンの開発も行っていく意向のようです。ソースコードはApache License 2.0で公開されており、パッチの提供も呼びかけられています。

プロジェクトのホームページでは、Mapperライブラリが備えるユーザーインターフェイスのスクリーンショットが2枚公開されています。

fig Mapreduce system status
fig Specific mapreduce status

この記事は、Twitterで@kazunori_279氏からGoogle App Engine上のMapReduceを実装するプロジェクトについて情報をいただいて書きました。ありがとうございます。

このエントリーをはてなブックマークに追加
follow us in feedly

タグ : Google , Google App Engine , MapReduce



≫次の記事
「データベースのスケーラビリティの解決」のためにGemStoneを買ったVMwareの狙い(前編)
≪前の記事
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作

Loading...

Blogger in Chief

photo of jniino Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。新しいオンラインメディアの可能性を追求しています。
詳しいプロフィール


Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed



Publickey 最新記事 10本

Publickey Topics 最新記事 10本


PR - Books


fig

fig

fig

fig