「次世代Hadoopの開発に着手する」Yahoo!が宣言、数万台以上のクラスタをサポートへ

2011年2月21日

米Yahoo!が大規模分散処理のフレームワーク「Hadoop」の次世代版を開発することを、ブログYahoo! Developers Networkにポストしたエントリ「The Next Generation of Apache Hadoop MapReduce」で明らかにしました。

The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog

Yahoo!によると、現在のHadoopの実装では1クラスタあたり4000台程度でスケーラビリティの限界にあたるため、アーキテクチャを見直して信頼性や可用性を高めると同時に、1万台から2万台を超えるクラスタのスケーラビリティを実現したうえで、従来のHadoopとアプリケーションの互換性を保つ予定とのこと。さらに、マルチテナント対応、多言語プログラミングのサポートなども実現する予定のようです。

Apache Hadoopコミュニティと協力して開発を進める

Yahoo!はブログで次のように書いています。

The current implementation of the Hadoop MapReduce framework is showing it’s age.

現在のHadoop MapReduceフレームワークの実装は古さを見せつつある。

Yahoo!はHadoopが生まれた企業であり、現在でも世界最大のユーザーの1つです。Yahoo!にとってどこが古さを見せつつあるのでしょうか?

Given observed trends in cluster sizes and workloads, the MapReduce JobTracker needs a drastic overhaul to address several deficiencies in its scalability, memory consumption, threading-model, reliability and performance.

クラスタのサイズとワークロードのトレンドに対して、MapReduce JobTrackerはドラスティックなオーバホールを必要としている。それは、スケーラビリティ、メモリ使用量、スレッドモデル、信頼性と性能といった点に対する不足の解決だ。

こうした問題を解決するために、次世代Hadoopが必要だとしています。そして、要件(Requirements)を次のように定めています。

Yaho!は先月末に独自のHadoopディストリビューションの開発を止め、Apache Hadoopの開発に注力することを、エントリ「[ANNOUNCEMENT] Yahoo focusing on Apache Hadoop, discontinuing “The Yahoo Distribution of Hadoop”」で宣言していました。

今回の次世代Hadoopの開発でも、Apache Hadoopのコミュニティと協力して進めていくと書いています。

We will work with the Apache Hadoop community to achieve this to elevate Apache Hadoop to the next level in the big data space.

関連記事

このエントリーをはてなブックマークに追加
follow us in feedly

タグ : Hadoop , MapReduce , Yahoo!



≫次の記事
これからは電子書籍でもJavaScriptプログラミングができる
≪前の記事
スマートデバイスの進化の急激さ、そして個人の力の増加 ~ Gadget1 R4でTegra2とtagletのセッションを聴いて思ったこと

Loading...

Blogger in Chief

photo of jniino Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。新しいオンラインメディアの可能性を追求しています。
詳しいプロフィール


Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed



Publickey 最新記事 10本

Publickey Topics 最新記事 10本


PR - Books


fig

fig

fig

fig



blog comments powered by Disqus