GPU/TPU Model Parameter Estimates

NVIDIA H100

Single GPU

~175B parameters

8-GPU Node

~1.4T parameters

1000+ GPU Cluster

~100T parameters

NVIDIA H200

Single GPU

~230B parameters

8-GPU Node

~1.8T parameters

1000+ GPU Cluster

~140T parameters

NVIDIA GB200

Single GPU

~300B parameters

8-GPU Node

~2.4T parameters

1000+ GPU Cluster

~180T parameters

Google TPU v5

Single TPU

~200B parameters

Pod Slice

~2T parameters

Full Pod

~120T parameters

Google TPU v5p

Single TPU

~250B parameters

Pod Slice

~2.5T parameters

Full Pod

~150T parameters

Google TPU v5e

Single TPU

~100B parameters

Pod Slice

~1T parameters

Full Pod

~60T parameters

Google TPU v6 (Estimated)

Single TPU

~400B parameters

Pod Slice

~4T parameters

Full Pod

~240T parameters