Amazon S3、データの整合性確認を最大90%高速化。新たなオブジェクトのチェックサムアルゴリズム追加で

2022年3月1日

Amazon Web Services(AWS)は、オブジェクトストレージサービスを提供しているAmazon S3の新機能として、新たなチェックサムアルゴリズムによってより簡単かつ迅速にAmazon S3に保存するオブジェクトの整合性をチェック出来る機能を発表しました

Amazon S3ではすでにMD5がチェックサムとして利用されていますが、今回、広く使われている4種類のチェックサムアルゴリズム、「SHA-1」「SHA-256」「CRC-32」「CRC-32C」を追加。オブジェクトをAmazon S3にアップロードする際に、このチェックサムを用いてデータの整合性を迅速に確認できるようになりました。

チェックサムが検証され、一致したときのみアップロードを受け付け

この新機能に対応した最新のAWS SDKを用いると、新たに追加されたチェックサムアルゴリズムを用いてあらかじめAmazon S3に保存するオブジェクトのチェックサムを計算しておき、それをオブジェクトのアップロード時にHTTPのTrailerヘッダ内にチェックサムを格納して送信。Amazon S3は実際にアップロードされるオブジェクトのチェックサムを検証し、一致したときのみアップロードを受け付ける、ということが可能になります。

さらにマルチパートアップロードでは、AWS SDKはクライアントサイドの並列処理を利用することで、各パートのチェックサムを計算するようになりました。各パートのチェックサムをまとめたチェックサムも計算され、アップロードが完了する時点でAmazon S3に送信されます。

Amazon S3に送信されたチェックサムは、その後メタデータとしてオブジェクトと一緒に保存され、必要に応じて取得可能となります。

このエントリーをはてなブックマークに追加
follow us in feedly


関連タグ AWS / クラウド



タグクラウド(β版)

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本