NVIDIA H100 94GB NVL

new
NVIDIA® H100 NVL は、最新のGPUアーキテクチャ「Hopper」を採用し、大容量94GB Bandwidth7.8TB/sの高性能HBM3メモリ、第4世代のTensorコア、前世代となるNVIDIA A100 GPUの約1.5倍にあたる800億個のトランジスタが搭載されています。

さらに、2枚の「H100 NVL」をNVLink(TM)で接続することにより188GBの広大なメモリ空間を実現し、各GPU間は600GB/sの広帯域で疎通可能で生成AIのような大規模AIモデルの学習に最適なハイエンドスペックとなっています。米OpenAI社がChat GPT-3(GPT-175Bモデル)の開発に利用したNVIDIA A100と比較して最大12倍の高速化を実現します。また、H100 NVLはPCI Gen5 で搭載が可能ですので、既存のGPUサーバーインフラで置換や増設も可能です。

※本製品は消費電力が非常に高くNVIDIAが認定したシステムにのみ搭載が可能です。動作認証済のシステムや搭載方法については弊社までご相談下さい。
※NVLinkでのGPU接続は、NVIDIA H100 NVL を2枚接続する際に有効です。異なるGPUカードや、同じH100シリーズでも40GBや80GBのカードとの接続は動作保障外となりますのでご注意ください。
  • PCIe Gen5
  • HBM3
  • 94GB
  • NV-Link
  • MIG
  • 標準3年保証
モデル
特徴
仕様
お問い合わせ

大容量94GB HBM3eメモリを搭載

最新の大容量94GB HBM3eメモリを搭載しており、2つのGPUをリンクする NVLinkインターコネクトを備えています。H100 NVLの最大の特徴はLLMなどの大規模AIモデルをターゲットにして開発されたところであり、デュアルGPU構成にすることにより、これまでのどのNVIDIA製品と比較しても最大の188GBの広大なメモリ空間を実現しています。
大容量94GB HBM3eメモリを搭載

大規模AIに特化した設計

NVIDIA H100 NVL は、第 4 世代の Tensor コアと、FP8 精度の Transformer Engine を搭載し、前世代のA100と比較して最大約12倍のGPT3-175B推論スループットを提供可能です。600 ギガバイト/秒 (GB/s) の GPU 間インターコネクトを提供する第 4 世代の NVlink、ノード間の各 GPU による通信を加速する NVLINK Switch システム、PCIe Gen5、および NVIDIA Magnum IO™ ソフトウェアの組み合わせによって、小規模な企業から大規模で統一された GPU クラスターまで効率的に拡張が容易になっています。
大規模AIに特化した設計

リアルタイム ディープラーニング推論

AI は、さまざまなビジネスの課題を、同じくらいさまざまなニューラル ネットワークを使用して解決します。優れた AI 推論アクセラレータには、最高のパフォーマンスだけでなく、様々なネットワークを加速するための多様性も求められます。
 
H100 では、推論が最大 30 倍高速化になる、レイテンシが最小限に抑えられるなど、機能が強化されます。それにより、市場をリードする NVIDIA の推論のリーダーシップをさらに拡大します。第 4 世代の Tensor コアは FP64、TF32、FP32、FP16、INT8 など、あらゆる精度をスピードアップします。Transformer Engine は FP8 と FP16 の両方を活用してメモリ消費を減らしてパフォーマンスを増やしつつ、大規模な言語モデルで精度を維持します。
リアルタイム ディープラーニング推論

エクサスケール ハイパフォーマンス コンピューティング

NVIDIA データ センター プラットフォームは、ムーアの法則を超えるパフォーマンス向上を継続的に提供します。また、H100 の新しい画期的な AI 機能は、HPC+AI のパワーをさらに増幅し、世界の最重要課題の解決に取り組む科学者や研究者にとって、発見までの時間が加速されます。
 
H100 は、倍精度 Tensor コアの毎秒浮動小数点演算 (FLOPS) を 3 倍にし、HPC で 60 teraFLOPS の FP64 コンピューティングを実現します。AI と融合した HPC アプリケーションでは、H100 の TF32 精度を活用し、コードの変更なしに、単精度行列乗算演算で 1 petaFLOP のスループットを達成することができます。
 
H100 はまた、DPX 命令を備え、NVIDIA A100 Tensor コア GPU の 7 倍のパフォーマンスを提供し、DNA シーケンス アライメント用の Smith-Waterman など、動的プログラミング アルゴリズムにおいて従来のデュアルソケット CPU のみのサーバーと比較して 40 倍の高速化を実現します。
エクサスケール ハイパフォーマンス コンピューティング

PCI Express Gen5接続

NVIDIA H100 NVL は128GB/sのPCI ExpressGen5で既存のサーバーシステムに組み込めますので、お手持ちのGPUサーバーやワークステーションでAdaLovelace世代のGPUが利用されているシステムがあてば容易に増設や差し替えが可能です。さらに2枚一組でNVLink接続すればGPU間が600GB/sの広帯域で接続されます。最大熱設計電力 (TDP)も350W-400Wと従来のカードと大きく乖離の無い設計となっており、LLMワークロードを加速したい、システムをスケールアップしたいユーザーにも最適な選択肢です。
PCI Express Gen5接続
モデル
特徴
仕様
お問い合わせ
TOPへ

Linux対応について

Linux対応について
[ 動作確認モデル ]

動作確認を行ったモデルには[ Linux対応 ]のマークを表示しています。

[ ディストリビューション ]

動作確認は標準のインストーラーを使用したインストールとX-windowの起動、及びLANチップの動作確認(DHCPでのインターネット接続)までを確認しました。
ディストリビューションはRed Hat Enterprise Linux とCentOSですが、ご要望によっては、FedraやUbuntuなど、その他ディストリビューションやバージョンについてもお気軽にご相談下さい。

[ 動作確認デバイス ]

ビデオ内蔵モデルについては内蔵ビデオチップを無効化し別途ビデオカード(nVIDIA社製)を搭載して動作確認を行っているモデルもあります。
また同様にオンボードLANチップではなく別途LANカード(Realtek社製、intel社製)を搭載し動作確認を行っているモデルもございます。

※音源(サウンド)の動作については弊社では確認を行っておりません。インストーラー標準のドライバーで動作する場合もございますが、Linuxのドライバー自体が無く動作認識しないチップもございます。ご理解下さい。

[ 設定、インストール ]

インテルやPGI等の有償コンパイラやMKL等のライブラリやツール類のインストール、各種サーバー構築、設定も承っています。お気軽にご相談下さい。

Copyright (c) 2013-2019 univPCcom Allright reserved.