NVIDIA Hopper アーキテクチャをベースとする NVIDIA H200 は、毎秒 4.8 テラバイト (TB/s) で 141 ギガバイト (GB) の HBM3eメモリを提供する初の GPU です。

これは、NVIDIA H100 Tensor コア GPU の約 2 倍の容量で、メモリ帯域幅は 1.4 倍です。H200 の大容量かつ高速なメモリは、生成 AI と LLM を加速し、エネルギー効率を向上させ、総所有コストを低減し、HPC ワークロードに最適化されています。

生成AIで話題のLLM（大規模言語モデル）は、文章作成や情報検索など働き方を大きく変えようとしています。大学や企業も、この強力なAIを活用して顧客サービスの向上や新たなビジネスモデルの創出を目指しています。AI 推論アクセラレータは、大規模なユーザーベース向けにデプロイする場合、最小のTCOで最高のスループットを実現する必要があります。

LLMを円滑に稼働させるためには、高性能なコンピュータが必要不可欠です。NVIDIA H200 AIアクセラレータは、この課題を解決する画期的なGPUです。700億パラメータの大規模言語モデル 「Llama2 70B」の推論を前モデルである、NVIDIA H100と比較して1.9倍、1750億パラメータの大規模言語モデル「GPT3-175B」の推論で1.6倍高速化し、LLMの処理速度を最大約2倍に向上させることで、より多くのユーザーに、より迅速かつ高品質なAIサービスを提供することが可能になります。

NVIDIA H200は、膨大なデータを高速に処理する能力に長けたGPUです。GPUはデータの読み書き速度を示す指標としてメモリ帯域幅があり、H200は前モデルのH100 80GBの2.0TB/s、H100 NVL 94GBの3.9TB/s からさらに進化して4.8TB/s のメモリ帯域をもっています。スーパーコンピューターで複雑な計算を行う場合、大量のデータをメモリーとCPUの間で何度もやり取りが行われるのですが、これがボトルネックとなり計算速度が遅くなってしまうことがあります。

NVIDIA H200は、このボトルネックを解消するために、4.8TB/sと非常に高いメモリ帯域幅を実現しています。データをスムーズにやり取りできるため、シミュレーションやAIの学習など、大規模な計算を短時間で処理することが可能です。
また、H200は従来のCPU （Xeon® Platinum 8480+ 2CPU） と比べて、110倍の速さでデータを処理でき、高速なメモリ帯域幅は、科学研究やAI開発など技術革新を加速させる上で不可欠な存在となります。

NVIDIA H200は、驚異的な性能を発揮しながらも、同時にTCO（総所有コスト）を大幅に削減できる画期的なGPUです。

前世代のH100と同等の電力消費量でありながらはるかに高いパフォーマンスを実現します。AIモデルの学習や、大規模なシミュレーションなど、高度な計算処理を必要とする分野においてこの高いエネルギー効率は、電気料金の削減に直結し、TCOを大幅に抑えることに貢献します。

高いエネルギー効率を実現することで消費電力を削減し環境負荷を軽減します。これは、サステナビリティ社会の実現に向けた重要なファクター言えるでしょう。

NVIDIA H200とNVIDIA AI Enterpriseの組み合わせは、AI 対応プラットフォームの構築が簡素化され、生成AIやコンピュータビジョンなど、多様なAIモデルの開発と導入を加速させ、企業レベルのセキュリティと安定性を確保します。AI開発者は複雑な環境設定に煩わされることなく、AIモデルの開発に集中することができます。

これらの要素が組み合わさることで、企業はAIの導入障壁を下げ、より迅速にビジネスにAIを導入し、競争優位性を確立することができます。
NVIDIA H200には5年間分のNVIDIA AI Enterprise ソフトウェアとサポートが含まれています。