BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022年9月20日

Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。

オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。

Datastream for BigQueryは設定も容易で、データのレプリケートだけでなく、ソースとなるデータベースのスキーマ変更も自動的に反映されるとのことです。下記は「Introducing Datastream for BigQuery」からの引用です。

Just configure your source database, connection type, and destination in BigQuery and you’re all set. Datastream for BigQuery will backfill historical data and continuously replicate new changes as they happen. And as database schemas shift, Datastream seamlessly handles schema changes and automatically adds new tables and columns to BigQuery.

Datastream for BigQueryは、ソースデータベース、接続タイプ、接続先をBigQueryで設定するだけで、すぐに利用できます。Datastream for BigQueryは、過去のデータに遡ってデータを取得し、新しい変更が発生するとそれを継続的にレプリケートします。また、データベースのスキーマが変更されても、Datastreamはスキーマの変更をシームレスに処理し、新しいテーブルとカラムをBigQueryに自動的に追加します。

Google CloudはこのDatastream for BigQueryの登場に合わせて、大規模データのBigQueryへの移動を安価に行える、データボリュームに合わせた新しい価格体系も発表しています。

これまでBigQueryはその性能の高さが評価される一方で、既存のデータベースからのデータ移行については課題を抱えていました。Datastream for BigQueryはその改善を大きく進めるものとなりそうです。

このエントリーをはてなブックマークに追加
follow us in feedly


関連タグ Google Cloud / MySQL / Oracle Database / PostgreSQL / クラウド / データベース / OLAP



タグクラウド(β版)

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed


最新記事10本