MongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存など

2013年8月21日

代表的なNoSQLデータベースの1つであるMongoDBの開発元10genは、MongoDBとHadoopとの統合を強化する「MongoDB Connector for Hadoop」の新バージョンを発表しました

Integration of Hadoop and MongoDB, Big Data’s Two Most Popular Technologies, Gets Significant Upgrade | 10gen, the MongoDB company

MongoDB Connector for Hadoopは、Hadoopへの入出力データとしてMongoDBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。

  • Apache HiveからMongoDBのデータへSQLライクな問い合わせ
  • インクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現
  • MongoDB BSONファイルをHadoop Distributed File System(HDFS)上に保存することで、データの移動を削減

これにより以下のようなメリットがあるとのこと。プレスリリースから引用します。

The Connector presents MongoDB as a Hadoop-compatible file system. Real-time data from MongoDB can be read and processed by Hadoop MapReduce jobs, such as when aggregating data from multiple input sources or as part of Hadoop-based data warehousing or ETL workflows. The results of Hadoop jobs can also be written back to MongoDB to support real-time operational processes and ad-hoc querying.

このコネクタによりMongoDBをHadoop互換のファイルシステムとし、MongoDBからのリアルタイムデータをHadoop MapReduceジョブで読み込むことができます。例えば複数のデータソースからの統合データや、Hadoopベースのデータウェアハウス、ETLワークロードなどが挙げられます。

Hadoopのジョブの結果はMongoDBへと書き戻され、リアルタイムな操作やアドホックな問い合わせをサポートします。

MongoDB Connector for Hadoopは、2012年に最初のバージョンがリリースされており、今後さらなる性能向上、Hiveのフル機能サポートなどを進めていく予定。

このエントリーをはてなブックマークに追加
follow us in feedly


関連タグ NoSQL / 機械学習・AI / Hadoop / MapReduce / MongoDB



タグクラウド(β版)

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準
アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed


最新記事10本