NVIDIA经济学：云服务商每花1美元买我的GPU 就能赚7美元！

  NVIDIA超大规模和 HPC 业务副总裁兼总经理 Ian Buck 近日在美国银行证券 2024 年全球技术大会上表示，客户正在投资数十亿美元购买新的NVIDIA硬件，以跟上更新的 AI 大模型的需求，来提升收入和生产力。

  Buck表示，竞相建设大型数据中心的公司将特别受益，并在数据中心四到五年的常规使用的寿命内获得丰厚的回报，“云提供商在购买 GPU 上花费的每一美元，四年内（通过提供算力服务GAAS）都能收回 5 美元。”

  “如果用于推理，则更有利可图，每花费 1 美元，在同样的时间段内就能产生 7 美元的营业额，并且这一个数字还在增长。”Buck说道。

  NVIDIA创始人、总裁兼首席执行官黄仁勋和执行副总裁兼首席财务官Colette Kress此前也曾表达过同样的观点。

  他们此前曾表示，借助CUDA算法创新，NVIDIA将H100的LLM推断速度提升至原来的3倍，这可以将Llama 3这类的模型的成本降低到原来的三分之一，而H200在推理性能上较H100几乎翻了一番，为生产部署带来了巨大的价值。

  这意味着，按照现有的定价来看，托管Llama3的API供应商每花费1美元在NVIDIAHGX H200服务器上，未来四年内就可从Llama3 token计费中赚取7美元收入。

  NVIDIA最新推出的Blackwell 针对推理进行了优化，支持 FP4 和 FP6 数据类型，在运行低强度 AI 工作负载时可进一步提升能效。

  根据官方的数据，与Hopper相比，Blackwell 训练速度比H100快4倍，推断速度快30倍，还可以实时运行万亿参数大语言模型生成式AI，可进一步将成本和能耗降低到原来的25分之一。

  这似乎呼应了黄仁勋多次喊出的“买的越多，省的越多”的口号，但不可忽视的是，NVIDIA GPU价格也在快速上涨。

  很多云提供商提前两年就慢慢的开始规划新的数据中心，并希望了解未来的AI GPU 架构会是什么样子。

  “对我们来说，做到这一点真的很重要数据中心不是凭空而来的，它们是大型建设项目。他们要了解Blackwell 数据中心会是什么样子，它与Hopper数据中心有何不同。”Buck说。

  Blackwell 提供了一个转向更密集的计算形式和使用液体冷却等技术的机会，因为空气冷却效率不高。

  NVIDIA已经宣布每年都会推出一款新的 GPU的节奏，这有助于公司跟上 AI 发展的步伐，进而帮助客户规划产品和 AI 战略。

  Buck说：“NVIDIA已经与那些最大的客户针对Rubin GPU探讨了一段时间他们知道我们的目标和时间表。”

  AI 的速度和能力与硬件直接相关。在 GPU 上投入的资金越多，AI公司就能训练出更大的模型，从而带来更多收入。

  微软和谷歌将自己的未来寄托在人工智能上，并竞相开发更强大的大型语言模型。微软严重依赖新的 GPU 来支撑其 GPT-4 后端，而谷歌则依赖其 TPU 来运行其人工智能基础设施。

  NVIDIA目前正在生产 Blackwell GPU，样品很快就会发布。但客户可以预料，首批 GPU（将于年底发货）将供不应求。

  “每一项新技术的转型都会带来供需方面的挑战。我们在 Hopper 上就经历过这种情况，Blackwell 的产能提升也将面临类似的供需限制今年年底到明年。”Buck 说道。

  Buck还表示，数据中心公司正在淘汰 CPU 基础设施，为更多 GPU 腾出空间。Hopper GPU 可能会被保留，而基于旧 Ampere 和 Volta 架构的旧 GPU 则会被转售。

  Buck 表示，GPT-4 模型大约有 1.8 万亿个参数，由于 AI 扩展尚未达到极限，参数数量还将继续增长。

  “人类大脑的规模大概相当于 1000 亿到 150 万亿个参数，具体数量取决于个人，取决于大脑中的神经元和连接。目前，人工智能的参数规模约为 2 万亿我们尚未进行推理。”Buck说道。

  未来将会有一个包含数万亿个参数的大型模型，在此基础上会构建更小、更专业的模型。参数数量越多对NVIDIA越有利，因为它有助于销售更多 GPU。

  NVIDIA正在调整其 GPU 架构，从原来的基础模型方法转向混合专家模型。专家混合涉及多个神经网络通过相互参考来验证答案。

  Buck说：“1.8 万亿参数的 GPT 模型有 16 个不同的神经网络，它们都试图回答各自层的部分问题，然后商讨、会面并决定正确答案是什么。”

  “这些家伙都可以相互通信，而不会在 I/O 上受阻。这种演变在模型架构中不断发生，”Buck 说。

  NVIDIA首席执行官黄仁勋本月在 HPE 的 Discover 大会上发表了一些激烈的言论，呼吁人们购买更多该公司的硬件和软件。

  “我们设计了小号、中号、大号和特大号，你可以选择，而且正如你所知，你买得越多，省得越多。”黄在 Discover 的舞台上说道。

  黄仁勋今年早些时候还发表了另一条备受争议的言论，当时他说未来的程序员不需要学习如何编写代码，但在 Nvidia GPU 上加载 AI 模型有必要了解命令行和脚本，以创建和运行 AI 环境。

  NVIDIA的专有言论和在AI市场的完全主导地位使其成为反垄断调查的目标。

  当 Buck 试图淡化人们对 CUDA 的担忧时，他必须小心谨慎，他表示“护城河是一个复杂的词”。

  NVIDIA两位高管都表示，CUDA 是其 GPU 的必备软件要最大限度地发挥 GPU 的性能，就需要 CUDA。开源软件可以与 Nvidia GPU 配合使用，但没办法提供 CUDA 库和运行时的强大功能。

  向下兼容性和连续性是NVIDIA的独特优势，NVIDIA对AI 模型和软件的支持可以延续到下一代 GPU。但对于英特尔的 Gaudi 等 ASIC 则不然，它们必须针对每个新模型重新做调整。