Hadoop初のメージャーバージョンアップ「Hadoop 2」正式版が公開。MapReduce以外の分散処理フレームワークも実行可能に

2013年10月17日

The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました

The Apache Software Foundation Announces Apache™ Hadoop™ 2 : The Apache Software Foundation Blog

Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。

"What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator and ASF Board member Doug Cutting.

“Javaプログラマーのためのスケーラブルなバッチ処理として数年前に始まったものが、いまビッグデータのためのオペレーティングシステムの中核になろうとしている”と、Hadoop開発者でApache Software Foundationメンバーのダグ・カッティング氏は語る。

Hadoop 2の最大の特徴は、HDFS上にYARN(Yet Another Resource Negotiator)と呼ばれるフレームワークが載り、MapReduceだけでなく、さまざまなアルゴリズムの大規模分散処理アプリケーションが、しかも複数同時に効率的に実行できるようになっているところです。

Hadoop 2の新機能

Hadoop 2の特徴は以下となっています。YARN搭載のほか、HDFSフェデレーション、HDFSスナップショット、Windowsサポート、NFSバージョン3アクセスなどが挙げられています。

  • Apache Hadoop YARN, a cornerstone of next generation Apache Hadoop, for running both data-processing applications (e.g. Apache Hadoop MapReduce, Apache Storm etc.) and services (e.g. Apache HBase)
  • High Availability for Apache Hadoop HDFS
  • Federation for Apache Hadoop HDFS for significant scale compared to Apache Hadoop 1.x.
  • Binary Compatibility for existing Apache Hadoop MapReduce - applications built for Apache Hadoop 1.x.
  • Support for Microsoft Windows.
  • Snapshots for data in Apache Hadoop HDFS.
  • NFS-v3 Access for Apache Hadoop HDFS.

Hadoop 2の新機能については下記の記事で解説していますので、ぜひご参照ください。

あわせて読みたい

機械学習・AI Hadoop オープンソース ビッグデータ




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本