「次世代Hadoopの開発に着手する」Yahoo!が宣言、数万台以上のクラスタをサポートへ

2011年2月21日

米Yahoo!が大規模分散処理のフレームワーク「Hadoop」の次世代版を開発することを、ブログYahoo! Developers Networkにポストしたエントリ「The Next Generation of Apache Hadoop MapReduce」で明らかにしました。

The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog

Yahoo!によると、現在のHadoopの実装では1クラスタあたり4000台程度でスケーラビリティの限界にあたるため、アーキテクチャを見直して信頼性や可用性を高めると同時に、1万台から2万台を超えるクラスタのスケーラビリティを実現したうえで、従来のHadoopとアプリケーションの互換性を保つ予定とのこと。さらに、マルチテナント対応、多言語プログラミングのサポートなども実現する予定のようです。

Apache Hadoopコミュニティと協力して開発を進める

Yahoo!はブログで次のように書いています。

The current implementation of the Hadoop MapReduce framework is showing it’s age.

現在のHadoop MapReduceフレームワークの実装は古さを見せつつある。

Yahoo!はHadoopが生まれた企業であり、現在でも世界最大のユーザーの1つです。Yahoo!にとってどこが古さを見せつつあるのでしょうか?

Given observed trends in cluster sizes and workloads, the MapReduce JobTracker needs a drastic overhaul to address several deficiencies in its scalability, memory consumption, threading-model, reliability and performance.

クラスタのサイズとワークロードのトレンドに対して、MapReduce JobTrackerはドラスティックなオーバホールを必要としている。それは、スケーラビリティ、メモリ使用量、スレッドモデル、信頼性と性能といった点に対する不足の解決だ。

こうした問題を解決するために、次世代Hadoopが必要だとしています。そして、要件(Requirements)を次のように定めています。

  • 信頼性
  • 可用性
  • スケーラビリティ ~ 1万台から2万台のクラスタコア、もしくはそれ以上
  • 後方互換性(および前方互換性) ~ カスタマのMapReduceアプリケーションを変更せずに次世代バージョンでも実行できることを確保する
  • 革新 ~ Hadoopのソフトウェアスタックへアップグレードすることをカスタマ自身がコントロールできる
  • 予測可能なレイテンシ
  • クラスタの有効化

Yaho!は先月末に独自のHadoopディストリビューションの開発を止め、Apache Hadoopの開発に注力することを、エントリ「[ANNOUNCEMENT] Yahoo focusing on Apache Hadoop, discontinuing “The Yahoo Distribution of Hadoop”」で宣言していました。

今回の次世代Hadoopの開発でも、Apache Hadoopのコミュニティと協力して進めていくと書いています。

We will work with the Apache Hadoop community to achieve this to elevate Apache Hadoop to the next level in the big data space.

関連記事

あわせて読みたい

機械学習・AI Hadoop MapReduce Yahoo!




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本