こっちは本物のMapReduceだ! グーグルがAppEngine-MapReduceをオープンソースで開発中

2010年5月25日

グーグルはGoogle App Engine上でMapReduce処理を実現するオープンソースを開発中だと、先日行われたイベントGoogle I/Oで明らかにしています。プロジェクトのホームページもGoogle Code上に「appengine-mapreduce - Project Hosting on Google Code」として公開されています。

appengine-mapreduce - Project Hosting on Google Code

Reduce処理やJava版はこれから

1つ前の記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」では、グーグルがSQLライクな命令を用いて大規模データ処理のサービスを提供することをお伝えしました。

記事でも書いたとおり、これは内部でMapReduceを使っているかどうかは不明で、命令もSQLライクになっているため開発者、利用者ともに内部の仕組みは隠蔽されています。あくまでも「MapReduce的」なサービスといえます。

しかしオープンソースの「appengine-mapreduce」は、Google App Engine上でMapReduceの実装を目指したプロジェクトです。ホームページでは以下のように説明されています。

AppEngine-MapReduce is an open-source library for doing MapReduce-style computations on the Google App Engine platform.

AppEngine-MapReduceは、MapReuceスタイルの処理をGoogle App Engineプラットフォーム上で行うためのオープンソースライブラリです。

現在はPythonバージョンでMapperの試験的な実装が行われている状態で、今後Reduce処理やJavaバージョンの開発も行っていく意向のようです。ソースコードはApache License 2.0で公開されており、パッチの提供も呼びかけられています。

プロジェクトのホームページでは、Mapperライブラリが備えるユーザーインターフェイスのスクリーンショットが2枚公開されています。

fig Mapreduce system status
fig Specific mapreduce status

この記事は、Twitterで@kazunori_279氏からGoogle App Engine上のMapReduceを実装するプロジェクトについて情報をいただいて書きました。ありがとうございます。

このエントリーをはてなブックマークに追加
follow us in feedly


関連タグ クラウド / Google / Google App Engine / MapReduce



タグクラウド(β版)

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed


最新記事10本