Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010

2010年10月18日

先週10月12日に、ニューヨークでHadoopのイベント「Hadoop World: NYC 2010」が開催されました。参加者は900名を超えたともいわれ、日本からも30名程度が参加しました。

イベントを主催するClouderaは、Hadoopを開発したDoug Cutting氏らが所属しており、Hadoopの商用利用におけるリーダー的な存在です。そしてこのイベントでClouderaはNTTデータとの提携を発表。両社でアジア太平洋地域と日本でのHadoopビジネスを積極展開することを明らかにしています。

Clouderaとの提携を受け、NTTデータ代表取締役常務執行役員 ソリューション&テクノロジーカンパニー長 CTO 山田伸一氏がHadoop Worldで講演。その講演内容をHadoop Worldに参加したNTTデータ関係者から入手しました。以下はその情報を元に記事化したものです。

アジア太平洋地域と日本でのHadoop商用利用を推進

ClouderaのCEOであるMike Olson氏は、NTTデータを「First Regional Partner」として紹介。その紹介を受けてNTTデータ 山田伸一氏が登壇。

fig

NTTデータは2008年から3年以上にわたり、Hadoopの構築と運用を行ってきた。現在では300台から1000台以上のサーバで構成される規模のHadoop環境を構築、運用しており、日本国内ではナンバーワンの実績を有していると考えている。

データマネジメントの分野ではすでに8年以上PostgreSQLに取り組んでもいる。PostgreSQLもHadoopもマスコットは象である。NTTは象好きなのだ。

fig

今回の提携で、アジア太平洋地域と日本におけるHadoopビジネスを両社協力のもとに進めていく。

fig

NTTデータは日本国内で「Cloudera's Distribution for Hadoop」(CDH)のソフトウェア、サポート、トレーニングやナレッジベースなどの提供を行う。

オープンソースの観点ではコミュニティやエコシステムの構築と維持も重要。NTTデータはその一翼を担えると考えている。

fig

Hadoopには実績やアプローチが異なる2種類の顧客がいる

日本におけるHadoopの現状。アーリーアダプターはネットサービス系の企業。前向きな取り組みはまだ多くなく、ベストプラクティスを求めている段階。

fig

Hadoopの実績を積んでいくなかで、2種類の顧客がいるように感じる。それぞれ重視するポイントやアプローチが異なる。

1種類目は「すでに大量にデータを持っている企業」で、彼らのニーズはHadoopが持つ処理能力におけるスケーラビリティ、コモディティサーバで実現できるスケーラビリティのいずれにも合致している。そのため早期からHadoopを使い始めている。

この場合の課題は、Hadoop/MapReduceの使いこなしよりも、既存のシステムとどう組み合わせるか、また、設備が大規模になるために、それらをどうやって効率的かつ経済的に運用するか、にある。

しかしHadoopの効率的、経済的な運用(Operational Economies)はやってみないと分からないことが多い分野だ。単体の機器の故障率と故障の影響のバランスを考慮し、機器の調達方法や故障対応の自動化などをバランスよくデザインすることが大事。NTTデータでは、このあたりの検証や実績作りに取り組んでいる。

fig

2種類目は「既存の業務データが肥大化しつつある企業」。業務やサービスの成長に対して既存のシステムの枠組みが限界に達してしまい、それが成長や拡大の重荷になっているケース。このケースではHadoopの高いスケーラビリティに期待が寄せられている。

数台から20台程度のスモールスタートで始め、評価してみるのがポイント。成長に合わせてスケールするよう、処理のアーキテクチャを見直すなどノウハウが必要となる。

fig

続いて、Hadoopと3種類の商用データベースの比較検証について。

次の記事Hadoopと3つのRDBMSの比較評価。 Hadoop World: NYC 2010」に続きます。

関連記事

Hadoopとは何か、どのように使われているのかといったHadoopの基本的な解説は、昨年のHadoop Worldの記事などでまとめていますので、下記をぜひご覧ください。

そのほかHadoop関連の記事は「Hadoop」タグからどうぞ。

あわせて読みたい

機械学習・AI Hadoop MapReduce




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本