NVIDIA发布了2个月前宣布的Grace Hopper超级芯片(GH200)的更新版。GH200旨在为大规模人工智能处理的数据中心提供动力。
GH200还没有投入批量生产，但它已经有了重大升级在它的记忆中。这些新芯片的秘密武器是升级后的高带宽存储器HBM3e，它能够以5TB/S的速度访问数据。
这意味着芯片中HBM3内存的改进50%，这是在5月底宣布的。
Nvidia将这种高速内存连接到同一设备上的强大CPU和GPU。处理速度的提高将大大提高当前数据中心的人工智能处理能力。
除了更新的芯片，Nvidia还宣布了GH200 Grace Hopper平台，该平台允许两个GH200芯片连接在一块板上。
该平台提供8千万亿次人工智能处理和282GB HBM3e内存，带宽为10TB/s。
NVIDIA的芯片将如何改变数据中心？
这些数字可能会让你有点难以理解。那么，这个新的芯片和平台有多大意义呢？
在他的演讲中，Nvidia首席执行官Jensen Huang使用了一个典型的数据中心，运行8800 x86处理器，执行各种计算功能（ISO预算）。
像这样的数据中心运行Llama 2进行推理，查询矢量数据库，SDXL生成输出，将花费大约1亿美元，并使用5兆瓦的电力。
一个耗资1亿美元、使用2500个GH200平台的数据中心，运行相同型号的数据可以快12倍，而且只需3兆瓦的电力。
如果一个数据中心专注于一组非常特定的任务（ISO工作负载），那么对比将变得更加惊人。
您只需要花费800万美元购买210台GH200设备，消耗的能源减少了20倍，就可以与1亿美元的数据中心性能相匹配。
不用说，在本次发布之前处于规划阶段的任何人工智能云计算数据中心都将回到绘图板上。
GH200芯片将于2024年第二季度推出，预计将侵蚀大量x86处理器业务。AMD的新MI300芯片是英伟达最接近的竞争对手，但其更大的内存优势似乎被新GH200的升级所侵蚀。
我们所看到的处理器技术的进步超过了摩尔定律，并且没有放缓的迹象。生成性人工智能应用程序已经在提供令人印象深刻的性能，但看起来它们将变得更快。
