NVIDIA H100 GPU は、第 4 世代の Tensor コアと、FP8 精度の Transformer Engine を搭載し、MoE (Mixture-of-Experts) モデルのトレーニングを前世代よりも最大 9 倍高速化します。900 ギガバイト/秒 (GB/s) の GPU 間インターコネクトを提供する第 4 世代の NVlink、ノード間の各 GPU による通信を加速する NVLINK Switch システム、PCIe Gen5、および NVIDIA Magnum IO™ ソフトウェアの組み合わせによって、小規模な企業から大規模で統一された GPU クラスターまで効率的に拡張できるようになっています。

AI は、さまざまなビジネスの課題を、同じくらいさまざまなニューラル ネットワークを使用して解決します。優れた AI 推論アクセラレータには、最高のパフォーマンスだけでなく、様々なネットワークを加速するための多様性も求められます。

H100 では、推論が最大 30 倍高速化になる、レイテンシが最小限に抑えられるなど、機能が強化されます。それにより、市場をリードする NVIDIA の推論のリーダーシップをさらに拡大します。第 4 世代の Tensor コアは FP64、TF32、FP32、FP16、INT8 など、あらゆる精度をスピードアップします。Transformer Engine は FP8 と FP16 の両方を活用してメモリ消費を減らしてパフォーマンスを増やしつつ、大規模な言語モデルで精度を維持します。

NVIDIA データ センター プラットフォームは、ムーアの法則を超えるパフォーマンス向上を継続的に提供します。また、H100 の新しい画期的な AI 機能は、HPC+AI のパワーをさらに増幅し、世界の最重要課題の解決に取り組む科学者や研究者にとって、発見までの時間が加速されます。

H100 は、倍精度 Tensor コアの毎秒浮動小数点演算 (FLOPS) を 3 倍にし、HPC で 60 teraFLOPS の FP64 コンピューティングを実現します。AI と融合した HPC アプリケーションでは、H100 の TF32 精度を活用し、コードの変更なしに、単精度行列乗算演算で 1 petaFLOP のスループットを達成することができます。

H100 はまた、DPX 命令を備え、NVIDIA A100 Tensor コア GPU の 7 倍のパフォーマンスを提供し、DNA シーケンス アライメント用の Smith-Waterman など、動的プログラミング アルゴリズムにおいて従来のデュアルソケット CPU のみのサーバーと比較して 40 倍の高速化を実現します。

データ分析は多くの場合、AI アプリケーションの開発時間の大半を占めます 大規模なデータセットは複数のサーバーに分散されるため、CPU だけの市販のサーバーによるスケールアウト ソリューションでは、スケーラブルなコンピューティング パフォーマンスに欠け、動かなくなります。

H100 で高速化するサーバー、GPU ごとに毎秒 3 テラバイトのメモリ帯域幅、NVLink と NVSwitch によるスケーラビリティなら、膨大なデータセットに対処するハイパフォーマンスとスケールでデータを分析できます。NVIDIA Quantum-2 Infiniband、Magnum IO ソフトウェア、GPU 高速化 Spark 3.0、NVIDIA RAPIDS™ と組み合わせることで、NVIDIA データ センター プラットフォームは、かつてないレベルのパフォーマンスと効率性で膨大なワークロードを、他にはない方法で、高速化できます。