Amazonがディープラーニングのライブラリ「DSSTNE」をオープンソースで公開。TensorFlowよりも約2倍高速と主張

2016年5月12日

Amazon.comはディープラーニングを実現するライブラリ「Amazon DSSTNE」(Deep Scalable Sparse Tensor Network Engineの頭文字、読みはデスティニー)をオープンソースで公開しました。

GitHub - amznlabs/amazon-dsstne: Deep Scalable Sparse Tensor Network Engine (DSSTNE) is an Amazon developed library for building Deep Learning (DL) machine learning (ML) models

DSSTNEは本番環境のワークロードに対応したライブラリで、以下の特長があります。

マルチGPUスケール
学習と予測のどちらも、複数のGPUにスケールアウトし、レイヤごとにモデル並列化の方法で(model-paralles fashion)コンピューテーションとストレージを展開する

大規模レイヤ
モデル並列化のスケーリングは単一GPUを上回る大規模ネットワークが可能に

スパースデータ(Sparse Data)
DSSTNEはスパースデータセット(値がまばらにしか存在しないようなデータ群)を高速に処理するよう最適化されている。カスタムGPUカーネルが、GPUでの計算をゼロ値で埋め尽くすことなく処理する。

なぜAmazonがディープラーニングのライブラリを構築したのか、その理由については、何百万人もの買い物をする顧客に対して、大量の商品から適切にレコメンデーションを行うにはニューラルネットワークが求められると説明しています。

また、ほかのライブラリとは異なり、DSSTNEは最初から学習データとしてスパースデータを扱うことを想定して開発されました。そのため、スパースデータでは他のライブラリより高速だとのことです。

DSSTNE is much faster than any other DL package (2.1x compared to TensorFlow in 1 g2.8xlarge) for problems involving sparse data, which includes recommendations problems and many natural language understanding (NLU) tasks. DSSTNE is also significantly better than other packages at using multiple GPUs in a single server.

DSSTNEはほかのディープラーニングパッケージよりもスパースデータに関する処理が高速(g2.8xlargeの1インスタンスにおいてTensorFlowよりも2.1倍)で、これはレコメンデーションおよび多くの自然言語を理解する処理に関して。また、単一サーバで複数GPUを用いた場合も、DSSTNEはほかのパッケージより格段に優れている
Amazon DSSTNE: Q&Aから)

DSSTNEのライセンスはApache 2.0。

Tags: AWS 機械学習・AI

このエントリーをはてなブックマークに追加
ツイート
follow us in feedly





タグクラウド

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本