HadoopをWindows上の仮想マシンで手軽に試す方法

Hadoopといえば大規模分散フレームワークであり、実行にはそれなりのサーバ群を揃えなければならない、と思われがち。

Cloudera's Hadoop Demo VM for CDH4 - Cloudera Support

しかしHadoopでもっとも有名なディストリビューションを提供するClouderaは、PC上の仮想マシンで手軽にHadoopを実行できる仮想マシンイメージ「Cloudera's Hadoop Demo VM for CDH4」を無償公開しています。

VMware Player、KVM、VirtualBoxなど幅広い仮想マシンに対応。個人のPCを使って、例えばWindowsの上でも簡単にHadoopを試すことができます。

仮想マシンを使ったHadoopの実行手順を詳しく解説

Hadoop on your PC: Cloudera's CDH4 virtual machine | ZDNet

この仮想マシンイメージを使ってPC上でHadoopを動かす手順を、VMware Playerの入手から設定まで非常に詳しく、米ZDNetの記事「Hadoop on your PC: Cloudera's CDH4 virtual machine」で説明されています。ClouderaのブログでこのZDNetの記事が紹介されていました。

ZDNetの記事は、VMware Plyerの入手、仮想マシンの設定、Webブラウザ経由でのHadoopの設定、Hive経由での問い合わせといった手順が画面を中心に説明されています。英語が苦手な方でも分かりやすいはずです。例えば以下の画面では、仮想マシンのネットワークの設定を説明しています。

Hadoopに興味はあるけれどもなかなか手が出ない、という方は試してみてはいかがでしょうか。

Hadoopの基本的な知識は、先日公開したばかりの以下の記事が分かりやすいはず。

• 日々進化するHadoop。これまでのおさらいと最近の動向（前編）
• 日々進化するHadoop。これまでのおさらいと最近の動向（後編）

Hadoopの解説本といえばこの本が定番。翻訳者の玉川竜司さんへのインタビュー記事「オライリーの「Hadoop」本発刊、 翻訳者に裏話を聞きました」もあわせてご覧ください。

Hadoop
本書は、Hadoopの基礎から応用までを包括的に解説する書籍です。Hadoopの分散ファイルシステムHDFSやI/Oの効率化の仕組み、MapReduceについて詳しく解説します。後半ではHadoop管理者のために、HDFSと MapReduceを実行するためのHadoopクラスタの立ち上げと管理の方法を紹介。Hadoopに関心あるすべての人に必携の一冊です。（目次）