GTC对话黄仁勋：我眼中的GPU和别人有很大差别

  ‘有媒体认为你要么是 AI 时代的达芬奇，要么是 AI 时代的奥本海默，你怎么看？’

  ‘奥本海默是造炸弹的，我们（英伟达）不干这个。’面对这个多少有点戏谑的问题，英伟达创始人、CEO黄仁勋迟疑片刻，非常认真地回答了出来。

  当地时间 3 月 19 日，以堪比流行巨星的热度完成了 GTC 2024 的开场演讲后第二天，黄仁勋接受了全球媒体采访。

  无论是宏大问题例如‘AGI 何时到来’、‘英伟达怎么样看待中国市场’，或者是具体到新推出的NIM软件如何应用，这位全球市值第三公司的掌舵人，都能将问题分解并抽象成更容易理解的层次，用简单的比喻回答出来，虽然其中可能不乏‘太极’的嫌疑，但至少令人难以怀疑回答者的诚恳。

  两万亿的市值新高度下，老黄认为，GPU 芯片市场，不是英伟达的追求——‘英伟达不造芯片，英伟达造数据中心’，为此，英伟达搭建了所有：硬件、软件、服务，让客户决定怎么购买自己的数据中心。

  问：新的网络和技术计划向中国销售多少？有任何中国特定SKU的信息可以披露吗？是否为该市场做出了任何考虑或改变？

  黄仁勋：我还没有向你宣布这一点，你很贪婪（哈哈），这就是全部答案。现在对于中国，我们有 L20 和 H20 芯片符合出口要求，我们正在尽最大努力为中国市场组织调配资源。

  问：你在主题演讲里提到AIFoudry 正在许多企业起作用，这个计划的总体战略和长期目标是什么？

  黄仁勋：AIFoundry 的目标是构建软件。这不是指软件作为工具，任何人都有这样的软件。很久以前创建的两个最重要的软件，一个叫做 Office，它让软件变得 RTS（Real-Time Software，实时软件）。

  另一个很重要的软件叫做cuDNN（CUDA 深度神经网络库）。我们有 AI 所有这些不同的。未来的库是一个微服务，因为未来的库不仅仅用数学来描述，还用 AI 来描述。未来，它们都将变成 NIMs（微服务）。

  这些 NIMs 是超级复杂的软件，你所要做的就是来到我们的网站。你可以再一次进行选择用户在那里，或者下载它、在另一个云端运行它，或者下载在你的本地计算机上运行。当运行你的工作站、你的数据中心时，这项服务将使它们非常高效，所以这是一种在环境中使用的新方式。现在，当你作为一个企业运行这些库时，我们有一个软件许可（Liscence）的授权操作系统可用，你可以以 4500 美元/GPU/年的价格使用这一些服务。

  问：你之前说最新一代AI芯片 Blackwell 的定价在 3 万至 4 万美元，有更精确的信息吗？

  黄仁勋：这很难说，我也只是试图让大家对我们产品的定价有一定体感，并不打算给出具体报价。

  Blackwell 系统的定价非常不同，因每个人要的配置不同。如果不仅使用 Blackwell，Blackwell 系统通常包括 NV-Link 在里面，所以不同系统的定价不同。像往常一样，定价范围通常视 TCO（总体拥有成本）而定。

  英伟达不造芯片，英伟达造数据中心，为此我们搭建了所有任务，引入所有软件，调整它使数据中心系统尽可能地运转良好。然后，疯狂的部分来了，我们将数据中心聚合成更小的部分，允许客户通过你自己的特定需求对其做修改，这包括网络、存储、控制平面、安全和管理模块，想办法把数据中心整合到客户的系统中，最终，客户决定怎么样来购买它，所以跟过去销售芯片不同，Blackwell 的定价不是芯片的事，我们的商业模式也反映了这一点。

  英伟达的机会不是 GPU 芯片，是数据中心，数据中心正在快速走向加速，这是每年 2500 亿美元的市场，并以每年 20% 至 25% 的速度增长，这主要是由于 AI 方面的需求。其中，英伟达会占了重要的份额，从 1 万亿美元升至 2 万亿美元，我认为是合理的。

  问：Sam Altman 一直在与芯片业的人们谈论扩大AI芯片的规模。他和你谈过这样的一个问题吗？

  黄仁勋：我不知道他的意图。他认为生成式AI会变得很大，在这一点我很认同。

  今天计算机产生像素的方式是从数据集中检索数据，处理数据，然后传递数据。在整一个完整的过程中，人们认为需要消耗的能源非常少，但这恰恰相反。原因是每次你触摸手机、每个提示，需要与数据集赛跑并返回。从数据集中检索数据，使用 CPU 收集所有必要的部分，然后以一种从推荐系统的角度看有意义的方式组合信息，然后将结果信息发送回用户，这样的一个过程需要大量的计算。

  这就像每次问我一个问题，我都需要跑回办公室检索信息，这需要大量的精力。未来，慢慢的变多的计算将是生成的，而不是基于检索的。当然，这个生成过程必须是智能的、与上下文相关的。我相信，未来人们电脑上的几乎每一个像素、每一次交互都将通过生成过程产生，我相信 Sam 也这么认为。希望能够通过 Blackwell 新一代架构能为生成式 AI 这样的领域做出重大贡献。现在大多数体验还是基于检索的，但是如果未来每个人的人机交互都是生成式的体验，我会很惊讶。这是一个巨大的机遇。

  问：我完全同意你对未来软件的定义，我们的生活也在通过LLM发生很大变化。在基础模型方面，你认为未来会是怎样的？

  黄仁勋：核心是，我们如何拥有个人的大模型？有一些方式能做到。开始，我们认为这个过程可能需要微调（fine tuning），在持续的使用过程中，持续微调。

  但是，正如你所知，微调是相当耗时的。然后我们发现了提示词工程（prompt engineering），发现了上下文学习（context learning），发现了工作环境（working environment）等等。

  我认为答案将是所有这些的组合。在未来，你可以通过只微调一层叫 Lora 的权重（weights），锁定其他部分不必微调，从而低成本地做微调，你可以做提示词共创、上下文学习、增加模型记忆，所有这些成就了你独特的大模型，可以在云端运行，也可以在你的本地电脑上运行。

  问：昨天在你的主题演讲后，芯片公司 Groq 发推文说自家芯片跑得仍然更快，你怎么看AI芯片初创公司的评论？

  任何以 token 方式做生成的模型都需要其独特的方式，因为 Transformer 不是任何一个模型的名称。

  这些模型总体基于 Transformer 技术，都利用了 Transformer 注意力机制，但模型与模型之间存在巨大差别。有的模型用了混合专家模型（Mixture of Experts），混合模型里有的是两个专家模型，有的是四个专家模型，这些模型等待消息，以及路由分发，里面的一切步骤都不同，模型中的每一个都需要特殊优化。

  此时，如果计算单元被设计成只能以特定的方式、做特定的事情，它就是一个可配置的电脑，而不是可编程配置的计算机，就无法受益于软件创新的速度和潜力。

  就像 CPU 的奇迹不可低估一样，这么多年，CPU 一直是 CPU 的原因，是它克服了这些年来设置在 PC 主板上的可配置硬件，软件工程师的才能可以通过 CPU 来实现。相反，如果你把它固定在芯片上，你就断了软件工程师能带给芯片的聪颖智慧。

  这就是英伟达芯片能够在不同的 AI 模型架构（从 AlexNet 一直到 Transformer）下，都能表现出色的原因，英伟达找到了一种方法，从一种非常专业的计算形式中受益。芯片在这里被用来促进软件，而英伟达的工作是促进发明，促进像ChatGPT的发明。

  问：你讲述了使用生成式AI和模拟/仿真（simulation）来大规模训练机器人，但是有很多事情我们不知道如何很好地模拟，特别是当涉及到结构性的环境，如何突破限制继续训练机器人？

  黄仁勋：有多种方法能做到这一点。首先，你可以在我们的语言模型上下文中构建你的问题或观点。

  大型语言模型以不受约束和非结构化的方式运行，这同时也是它的潜力之一。它从文本中学到了很多东西，但可能不适合泛化。它们如何在空间泛化是一种‘魔力’，机器人的ChatGPT时刻可能就在眼前。

  为了克服这样的一个问题，你可以指定上下文和问题，例如告诉它处在特定条件的厨房中。通过应用 ChatGPT 的魔力，机器人能有效地泛化并生成对软件有意义的 token。一旦你的计算机感官识别了这些 token，机器人能根据这些例子进行归纳。

  问：你提到一些行业先迎来 ChatGPT 时刻。哪些行业会率先变化？可以分享你看到的突破，尤其让你激动人心的案例吗？

  黄仁勋：有很多例子。我对Sora非常兴奋，去年在 wayve 上看到了同样的能力，这是关于文生视频的例子。

  为了生成一个这样的视频，模型必须对物理规律有感知，比如把放在桌子上，而不是中间；走路的人是在地面上。不能违背物理规律。

  另一个例子是我们用 Earth-2 来预测极端天气影响。这是一个关键的研究领域，因为极端天气事件会对当地社区造成毁灭性的影响。利用 Earth-2，可以在 3 公里尺度上预测极端天气事件的影响。这是对现有方法的重大改进，现有方法需要的超级计算机要大 2.5 万倍。

  生成新药物和蛋白质是另一个非常令人印象非常深刻的潜在用例。这是通过像 Alphago 这样的强化学习循环来实现的，它允许在不消耗纯物质的情况下探索大分子空间，这有可能彻底改变药物发现。

  黄仁勋：有两件事我们一定要马上去做。第一，了解所有政策，以确保其合规；第二，也要提高供应链韧性。

  关于后者，我举个例子。当我们把Blackwell 芯片配置成 DGX处理器时，其中有 60 万个零件来自世界各地，很多来自中国。就像全世界汽车供应链的复杂性一样，供应链的全球化很难被打破。

  问：你能谈谈与台积电的关系吗？在过去的几年里，随着不断芯片封装的复杂性，台积电如何帮助英伟达实现目标的？

  黄仁勋：与台积电的合作是我们最紧密的合作之一，因为我们要做的事情非常难，而他们能做得很好。

  我们从台积电得到了计算单元，CPU、GPU 裸芯片，良率很好。存储器是来自美光、海力士、三星，并且这些组装必须在台湾完成。所以，供应链并非易事，需要公司之间的协调。这些大公司与我们大家一起合作，也逐渐意识到，更加密切的合作是非常必要的。

  我们从各家公司获取部件，然后组装，第三家公司测试，第四家公司组成系统，当然这个大系统最后是为了建成一个超级计算机，再来测试。最终，我们建立了数据中心。想象下，所有的加工制造就为了形成一个巨大的数据中心。整个供应链从上到下复杂度非常高，因为我们不单单是组装，除了芯片本身是个奇迹外，我们做成了巨大而庞杂的系统。

  所以，当人们问我对GPU是什么感受时，可能一部分觉得它有点像Soc（集成芯片）而已，而我看到的是架子、线缆、交换机等等。这才是我心中 GPU 和软件的模型。台积电线。

  问：英伟达正在向云业务转型，其他云厂商则在做自己的芯片。他们会影响你的定价策略吗？英伟达云业务的策略是什么？会向中国客户销售 DGX 云业务吗？

  问：你曾说 AGI 将在 5 年内到来，这一段时间预测有发生明显的变化吗？AGI 的加速到来会让你感到害怕吗？有人说你是当代达芬奇（多才多艺、做出如此贡献），也有人说你是当代的奥本海默，你怎么看？

  先具体定义 AGI，这样我们才可以了解什么程度才算到达 AGI、何时到达。如果 AGI 意味着在大量的测试集上