リアルタイムなデータ分析をする分散OLAP「Pinot」をLinkedInがオープンソースで公開

2015年6月18日

LinkedInは、同社が開発したリアルタイムデータ分析を実現する分散OLAPデータストア「Pinot」をオープンソースで公開したことを明らかにしました

Open Sourcing Pinot: Scaling the Wall of Real-Time Analytics | LinkedIn Engineering

LinkedInはビジネスに特化したソーシャルメディアサービス。

同社はこのサービスで発生する大量のデータを分析するプラットフォームとして、すでに2年以上Pinotを運用してきており、日々数十億件のデータを投入し、数千億件ものデータを保存。毎日1億クエリを実行し、10ミリ秒程度のレイテンシでリアルタイム分析しているとのこと。

例えば、LinedInのサービスである「Who's Viewed Your Profile」(あなたのプロフィールを誰が見たか」や、A/BテストフレームワークのXLNTもPinotで構築されていると説明されています。

figWho’s Viewed Your Profileの画面

スケールアウト型でカラム型データストア

Pinotはスケールアウト型のアーキテクチャでフォールトトレラント。カラム型データベースに複数の圧縮手法を内蔵し、インデックス機能はソート型インデックス、ビットマップインデックス、転置インデックスなどプラガブル。HadoopからバッチやKafkaなどを通じてほぼリアルタイムにデータを取得可能で、SQLライクな問い合わせ言語によって検索を行います。

LinkedInではPinotの新機能としてB+Treeとカラム型ストレージのハイブリッド型インデックスの開発に取り組んでおり、これによってデータキューブのような追加ストレージ容量を要求されることなく高スループットでクエリに対応できるようになるとのことです。

Tags: NoSQL 機械学習・AI BI

このエントリーをはてなブックマークに追加
ツイート
follow us in feedly




タグクラウド

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本