Partnered With:

Conversation with Nvidia CEO Jen-Hsun Huang: Use AI to create AI

Read this article in 34 Minutes

Create a New processor named New GPU, a New compiler, API, and a New version of OpenGL named cuDNN. You will also create a new Unreal engine, Nvidia AI.

原文标题：《 An Interview with Nvidia CEO Jensen Huang about Manufacturing Intelligence 》

Source: Stratechery

Kxp, BlockBeats

如果我们理想的元宇宙仍然是游戏或者科幻电影里那样的世界，那英伟达绝对是当下最接近实现元宇宙场景的巨头，在去年的 GTC 大会上，CEO 黄仁勋介绍了其旗下的 Omniverse 平台，基于真实世界的各种物理特性，让开发者创建虚拟世界，换句话说，就是一个将 3D 世界连接至共享虚拟世界的平台。

而在 2022 年的 GTC 大会，黄仁勋又带来了新的概念：智能制造（Manufacturing Intelligence），一种人工智能通过机器学习创造人工智能的理念。

为了了解智能制造的概念，以及其对未来元宇宙的可能作用，Stratechery 请到了黄仁勋，与他聊了聊对人工智能和机器学习的理解。律动 BlockBeats 将文章翻译如下，希望能对读者有所帮助。

Ben:非常高兴今天能与你交流，我一直是你的粉丝。大学时期我曾经造过电脑，当时很想得到一块 TNT 卡。当时 3Dfx 出了一款，但是当时我在想，Nvidia 的肯定比这个要厉害。如今 25 年已经过去了，我终于有机会和你当面交谈，看到你还在这个领域，我的心情非常激动。

Huang:TNT really put us on the map,RIVA 128风险很高，我们发明了几样东西才将其做成。第一个是浮点设置引擎，第二个是纹理缓存，然后第三个是宽内存，并将内存性能提升到了了当时的极限。这三样事物十分具有突破性，而在 TNT 中，我们把所有的东西都增加了一倍——我们做了双纹理，建立了双像素流水线。不过，这只是一个开始，TNT 将成为搭建多像素流水线架构的基础，这一开创性的工作将图形架构带入了新一轮的发展当中。

Ben：接下来我想谈谈你关于进一步拓宽内存带宽的问题。在你这次的主题演讲中，我们注意到，你在谈论芯片、新版 CPU 和系统的时候，基本都围绕着内存。在你看来，它应该是一项重要的考虑因素。

Huang:是的，事实证明，在计算机图形学中，我们需要消耗大量的内存带宽，因为我们必须对像素进行渲染。随着画家一遍一遍地在像素上作画，为了弄清步骤关系，中间必然会经过大量的读取-修改-写入的过程，而这也对内存带宽提出了很高的要求。如今我们已经迈入了机器学习时代，软件不再只是由人来设计了。虽然整体架构还是由人来创造，但修改却是基于机器数据来完成。所以我们输入了大量的数据，以便让机器找出模式规律，计算出预测特征，并找到它们之间的关系。

Ben：我一直觉得个人电脑这个名字有问题，因为很明显对于人们来说。个人电脑是手机而非真的电脑。GPU 的全称是图形处理器，但它其实更像是一种运算工具，只是碰巧处理了图像，但我们会一直叫它 GPU，而不是高级处理器之类的名字吗？

Huang:一旦 GPU 取得成功，我们会给它增添更多的功能，但不会给它重新命名，因为我们相信购买者能搞清楚这些功能，也对相信我们自己可以帮助人们理解这些功能。

真正了不起的是，TNT 其实是一个功能固定的流水线，每一步都会完成相应的工作，并把数据向前推进。如果它需要从帧缓存、内存中读取数据，或者如果它需要把内存数据读回来做处理，它将读取数据，将其调回芯片，并进行处理，然后再把它渲染回帧缓存，完成所谓的多通道。多通道是一种简单的固定函数流水线方法，有很高的局限性，于是几年后人们发明了可编程着色器。

Ben:太好了，这正是我接下来想询问的问题，请您继续说。

Huang:So we invented a programmable shader that puts programs on a GPU, so now we have a processor. GPU is a major technological breakthrough, and when we start to study programmable processors, we find that CPU already has many pipeline stages, and GPU pipeline stages can even be hundreds. So how do we keep these pipeline stages and processors in supply? We created a so-called delay-tolerant processor and built a large number of thread processors on top of it. You can have two threads in a microprocessor and run hyper-threaded in any CPU core, whereas in our Gpus there are 10,000 threads in flight at any one time. We reinvented this new programming style, and our architecture, called CUDA, ensures access because we are committed to keeping each generation of processors togetherCUDA相兼容，我们发明了一种新的编程模型。

Ben:其实我对这个问题很好奇，你一开始的时候先是研究图形技术，但它们最终都调整为了 OpenGL 和 DirectX。之后，你发明了着色器，GeForce，它可以对图像以外的应用进行编程。Nvidia 利用 CUDA 提高了它的可操作性，你把 SDK 放在 CUDA 之上，现在 25 年过去了，Nvidia 不仅成为了世界上最好的加速计算公司，你还形成了高效的商业模式。你免费提供 CUDA 并出售相应的芯片，这样做的目的为何？

Huang:我们所做的一切都是出于一些考虑，我很惊讶你对我们这么了解。除了你提到的事情以外，我们在有 CUDA 之前，实际上还有另一个版本叫 C for Graphics, Cg。之后我们犯了许多错误，也意识到我们还需要共享内存，否则，多重传递的数量...

Ben:连贯性会因此断裂。

Huang:是的，因此我们不得不在这个过程中发明各种东西。GeForce FX 和能与 IEEE 相兼容的 32 位浮点进行了很好的区分。我们做出了一个重大的决定，使其与 IEEE FP32 兼容。然而，我们在 GeForce FX 上也犯了很多错误。

Ben：与 IEEE FP32 兼容是指什么呢？

Huang:IEEE 规定了一种浮点格式，比如你要除以 0 应该作何处理，如果它不是一个数字，又应该怎样应对。

Ben：明白了，所以科学家们都可以使用这样的格式？

Huang:是的，而且无论你用浮点格式做什么数学计算，答案都是可以预计的。

Ben:好的。

Huang:因此，它与微处理器处理浮点过程的方式相一致。我们可以运行一个浮点程序，最终得到的答案与你在 CPU 上运行的答案是一样的。当时，DirectX 的可编程着色器的规格是 24 位浮点，而不是 32 位浮点。因此，我们选择了所有的 32 位，这样无论做什么数值计算都能与处理器兼容。这一举措让我们的 GPU 可以用于通用计算，实属一个聪明之举。

虽然犯了很多错误，但幸好结局都是好的。当我们确定将 CUDA 作为架构以后，就必须一直使用它，并确保每一代产品都能兼容上一代产品。这样一来，我们开发的软件安装基础将从新的处理器中受益，因为它运行得更快。于是，我们将 CUDA 应用于 GeForce、Quadro 以及数据中心的 GPU，而今天，我们制造的每一个芯片都能与 CUDA 兼容。

Ben：关于着色器其实我还有一个问题，你之前在一次斯坦福大学的演讲中曾提到说，你很担心 Nvidia 的商品化，而届时 OpenGL 或 Direct3D 将无法再带来收益。我很好奇你在对于商品化的恐惧和对未来的憧憬之间做了怎样的权衡呢？

Huang:这是一个很好的问题，固定功能流水线固然有着很高的效率，但屏幕上只有这么多像素，一个芯片承载的功能也有限。因此，如果我们坐以待毙，不去进一步优化电脑绘图和处理器，我们肯定会走向商品化并最终被淘汰。不过，挑战在于我们需要选对时机，用可编程的内容优化处理器和芯片。

然而，可编程性的缺点在于，它的效率较低。正如我之前提到的，固定功能必然会提高效率。对于任何一项任务来说，编程都是不必要的功能。尽管如此，如果一切都像 OpenGL 飞行模拟器上面的东西一样没有生命力的话，我们就无法让艺术家创造出不同的游戏与故事，无法赋予媒介以活力，而最终媒介也将不复存在。我们想要创造一个可编程的调色板，以便游戏和艺术家能够用它进行创造。同时，我们也希望自己不在商品化之中倒闭。因此，在这样的情况下，我们创造了可编程的着色器，所以我认为这样做的动机非常明确，但没想到后面还是出现了问题。

Ben：出现了什么问题？

Huang:问题来的非常突然，编程化给我们带来了很多不必要的开销，而且现在的应用并没有任何优势。在我们开发出新的应用之前，芯片并没有价格优势，而且市场竞争也很激烈。

Ben：在我看来，在技术层面上 Nvidia 和苹果公司很类似，因为 Nvidia 的发展方向也是软件和硬件的深度整合。Nvidia 一开始只是一家硬件公司，并且还兼顾设计，有代工厂为你们制造芯片。之后你建立了这个可以编程的着色器模型，想利用这个机会打造 CUDA，搭建所有的 SDK，而 Nvidia 也从这一刻实现了转型，是这样的吗？

Huang:确实如此，在你决定成为一家处理器公司的那一天，你就必须自己构建全新的处理器架构，因为之前没有任何可编程的像素着色器或 GPU 处理器的编程模型供我们借鉴。你必须搭建一个全新的编程模型，并构筑好与之相匹配的一切。因此，我们必须创建一个编译器团队，必须考虑 SDK 和数据库，必须接触开发人员，向他们宣传我们的架构，让他们看到我们的优势。我们有时甚至需要创建新的库，让他们可以将自己的应用程序移植到我们的数据库上。我们还会帮他们宣传这些软件，从而吸引他们一直使用我们的平台。同时，我们也会开展 GTC 人工智能开发者会议。

Ben:可以想像你们的初始开销一定很大，所以芯片的销售肯定面临着很大的压力，你们一定经历了很多艰难的时刻。

Huang:我非常庆幸我们有好的核心 GPU，所以我们的运行性能十分强大。虽然如此，我们的开销还是很大，电子元件、晶体管以及其他耗材都有着高昂的成本，所以我们的毛利率一直颇有压力。

Ben：你在本周的主题演讲中谈到了堆栈的四个层次，包括硬件、系统软件、平台和应用框架，也提到过机器学习需要一种完全集成的方法，这是为什么呢？在以模块化为特点的个人电脑时代，PC 作为中间平台将芯片、操作系统及应用整合到一起，而到了智能手机时代，这种整合变得越来越普遍。如今到了机器学习和人工智能的时代，整合进一步加强了吗，又为什么会这样呢？

Huang:举一个简单的例子：想象一下，我们创建了一个新的应用领域，如计算机图形学。如果我们假设它在图形芯片上运行得不好，在 CPU 上运行得也不好。那么，如果你想重新对其进行创建，就需要引入新形式的计算机科学，而这也是软件的开发方式。之后，你会建立一个新的处理器并取名 New GPU、新的编译器、API 以及新版本的 OpenGL，并命名为 cuDNN。你还会创建一个新的虚幻引擎——Nvidia AI，并慢慢搭建起一个完整的架构。

Ben：Nvidia 现在已经建立了整个堆栈，并拥有几乎所有的积木块，可供不同的用例使用。Nvidia 现在会将这些进行整合是考虑到他的必要性还是优势呢？如果其他人想效仿的话，是不是很难做到？

Huang:搭建一个全新的堆栈是进行深度学习的基础。

Ben:就像之前的图形处理一样。

Huang:是的，所以深度学习需要一个全新的堆栈，而恰好十年前最好的深度学习处理器是 Nvidia 的 GPU 之一。在过去的十年里，我们用 Tensor Core 重新发明了 GPU，Tensor Core GPU 在做深度学习方面比我们原来的 GPU 要好一千倍。但在这个过程中，我们基本上建立了整个计算机科学的堆栈，创造出了新的处理器、编译器、引擎和框架——人工智能的框架，当然，也有 PyTorch 和 TensorFlow。

如今我们意识到，虽然我们正在研究人工智能，但人工智能的下一个阶段将是机器人技术。比如，自动驾驶技术，该技术需要多种模式的实时传感器。你必须实时、同步、持续处理所有的传感器，包括雷达信息、照相机信息、激光雷达信息、超声波信息，而且你必须使用各种不同的算法来处理这些信息，以实现多样性和冗余性。然后它所产生的是感知、定位、世界地图，然后从世界地图中推理出什么是你的驱动计划。因此，这个应用空间是我们深度学习工作的衍生品，将我们带入了机器人领域。进入这一领域之后，我们创建了一个全新的堆栈，能够实时处理多传感器信息，并用于医学成像系统。

Ben:现在来看，在原来 GPU 的基础上你搭建了一个新的堆栈，并有效扩展了它的功能。

Huang:是的，我们的发展模式就是一步步地探索旧有发明的全新用途，从而不断升级创造。

Ben: You've articulated this vision, which stands in stark contrast to traditional general-purpose cpus. Once the idea comes up, you dive into it, and then you realize that there are many ways to solve these parallel problems, and you build an entire ecosystem on top of that. I know you might want to have your own CPU, for examplethe Grace Architecture。正如我前面提到的，你真正关注的是内存，它的存在是为了支持 GPU。与英特尔相比，这是非常明显的不同，因为英特尔只专注于单线程性能，而你们更看重的是内存带宽和 GPU 性能。那么既然你们可以授权使用 ARM 架构，为什么还要购买 ARM？

Huang:主要有三点原因，其一，为了出售。

Ben:对，在市场上。

Huang:是的。其次，它是一种单一资产，你再也找不到其他的 ARM 资产了。最后一个原因是，虽然我们承认它们一开始对于移动设备的关注相当不错，但它们未来的重点应该是数据中心。不过，与移动设备相比，数据中心市场要小得多，所以其经济动机并不够有说服力。如果我们拥有待价而沽的单一资产，并想要引导他们除了继续从事移动设备的工作外，还从事数据中心的工作，就能创造出另一种可替代的 CPU，从而将其塑造成各种有趣的计算机。在我们的所有权范围内，我们将能够更有目的性地引导他们进入世界的数据中心。

在过去的两年里，两家公司一直在放眼未来，都看到了数据中心的重要性。如果你看一下两年前 ARM 路线图，就会发现 ARM 的单线程性能路线图已经有了巨大的改善。因此，无论结果如何，我认为我们与他们相处的时间对我们整个行业都有巨大的帮助。

Ben：关于 ARM 还有一件事一直让我印象深刻，Pat Gelsinger 在任时候的英特尔非常强调软件的重要性，也曾一度想转向研究精简指令集计算机。ARM 给我的感觉就是，它缺少了软件的研发，而这正是 Nvidia 所专研的领域。我想你在他们收购时说过一些话，你将为 ARM 创造价值，所以你不妨通过拥有资产来实现它。我很好奇，在这种情况下，Nvidia 是否还会继续投资软件与集成模式，还是你们在看到亚马逊投资软件以后会更专注于 CPU 和 GPU？Nvidia 还会支持数据中心项目吗，还是你们会继续专注于对你们有用的东西？

Huang:我们目前只能专注于对我们有利的事情，虽然我们也意识到了投资软件的重要性，但我们目前的重点还是实现 Nvidia 的最大利益。

Ben:有道理。接下来我想聊聊你的个人经历，我知道你出生于台北，九岁的时候搬到了肯塔基州，那时候你会说英语吗？

Huang:当时我的父母把我送到国际学校学习英语，所以我当时可以用英语交流。

Ben：明白了，那你觉得移民经历对你的影响大吗，因为九岁的时候你已经记事，虽然还是个孩子，移民到美国对你的世界观产生了什么大的影响吗？

Huang:我不确定我来美国的时候有什么世界观，我们是 1973 年来的，当时肯塔基州没有那么多中国人，所以我们显得格格不入。不过幸运的是，我的寄宿学校欢迎来自许多不同背景和不同国家的学生。奥奈达中学真的是一个很棒的选择，因为他们的费用相当低廉。我当时九岁，我哥哥十一岁，他必须在烟草农场工作，而我负责清理学校浴室。

Ben：谁在那里有更好的待遇？

Huang:我不确定，这很难说。

Ben:那可能都不是很好。

Huang:我是唯一一个负责打扫浴室的孩子，而学校的浴室又有很多。现在想起来条件非常艰苦，但我们当时从来没有想过这是艰苦的工作，我们只是认为那是孩子们该做的事情。学校里的孩子基本都会吸烟，有的还不服管教，但我们都没受其影响，一直在做自己分内的工作。

两年后，我们的父母来到了美国。我在肯塔基州的回忆十分美好，而且我们也很想念我们的父母。我的哥哥和我都踢足球，我还加入了游泳队，也会打乒乓球，我们也做了很多工作。我们宿舍的保洁员是一名越战老兵，每天晚上他都会让我跟着他一起干活。每次结束后他会给我一杯苏打水，当时真的觉得很快乐。

当你还是个孩子的时候，我们没有什么太高的期许，而这种感觉很美好。我已经习惯了困难的工作，所以之后遇到了什么样的环境，我都能把工作做好。

Ben：虽然这是我们第一次交流，但我们已经观察 Nvidia 很长一段时间了，也对你有了一定的了解，而 Nvidia 身上也有你的影子。据我所知，Nvidia 并没有自己的核心宗旨，因为你的目的是鼓励创新，和朋友开展合作。现如今你已经有了 24000 名朋友和伙伴与你一起共事，这感觉如何呢？

Huang:我很幸运能够一群厉害的人，并帮助他们实现他们之前没有想过的目标，在团队的配合下完成不可能的任务。我从小到大身边都是聪明的孩子，工作以后周围的人也都非常优秀。如果没有克里斯（Malachowsky）和柯蒂斯（Priem），Nvidia 根本就不会出现。我一直在这个领域前行，并丝毫没有改变自己的信仰，因为我有着较强的适应能力。

Nvidia 聚集着各领域的顶尖人才，无论是首席科学家，工程、软件负责人，还是芯片与系统设计师，都是世界顶级水平，而这在世界上所有计算公司中都是绝无仅有的。我想说，世界上还没有任何一名 CEO 可以从头建立所有的软件和系统，并使其一跃成为世界顶尖水平。而这正是 Nvidia 所做的事情，它所营造的环境造就了一个又一个奇迹。

Ben：这是否会让其他公司感到害怕？我的意思是，Nvidia 似乎并没有开展很多合作关系，所以当你们设定目标以后，即便合作可以提高效率，但如果双方目标不一致的话，你们还是会自己去达成这个目标？

Huang:我认为很少有公司能像 Nvidia 一样在技术上与其他公司开展长期有深度的合作。我可能是台积电最长的 CEO 合作伙伴，当然我们公司也是他们最长的合作伙伴之一。同时，我们与矽品、富士康、华硕和微星的合作也是如此。在发展领域方面，我们不仅在个人电脑方面有所建树，还延伸到了数据中心的加速计算、人工智能以及机器人技术领域。我们不受我们所处的伙伴关系限制，但我们也在不断增加新的合作伙伴。我想，也许在外界看来，我们采取的是自主发展道路。

Ben:因为你们确实如此。

Huang:是的，这也是我们的特点之一，有着较强的可塑性。

Ben：你正在制造这些大规模的超级计算机，你在本周的主题演讲中谈到了它们，同时你也提到你将推出一种云服务。将来 Nvidia 会将服务整合，供人们租用吗？

Huang:如果我们有天提供了服务，我们将在世界各地的 GPU 上运行，这些 GPU 都在每个人的云中。此外，如果有必要的话，我们也会自己建立一些东西。我们公司的规则之一就是不能把公司资源浪费在已经存在的事物上。因此，对于这些事物我们只会选择合作或使用。我们会把公司资源用在创造新的事物上，如果一些东西对我们来说很有意义，即便其他人对其没兴趣，我们也会去尝试。

Ben：最后我想问，最近几个月你一直在致力于成为一个智能制造商，并用人工智能来开发人工智能，这也是你愿景的一部分吗，能给我们做一个总结吗？

Huang:历史上，人类从来没有能力生产世界上已知唯一宝贵的商品——智能。我们现在研发出了一个深度神经网络的计算机科学程序结构，它具有相当强大的扩展能力，可以半年增长一倍。而根据摩尔定律，它只能两年增长一倍，所以这个速度是十分惊人的。

目前，由计算机创建的软件正以惊人的速度增长。我们的公司正在建造相应的计算机，以进一步推动该进程。我认为，所有公司将逐渐意识到，他们真正的目的是生产智能，而这也是 Nvidia 正在做的事情。每家公司在以后都将自动生产他们的智能，并将编纂自己的智能生产，而人工智能的发展也将进一步辅助人类取得更大的进步。现在来看，这一速度正在逐渐加快，每半年就增加一倍。

Ben:而这一切都将在 Nvidia 的芯片上运行。

Huang:是的，我们将利用 Nvidia 芯片运行大部分进程。

Ben：如果人们听到你谈论人工智能时，会觉得人工智能还很遥远，Nvidia 的只是在 Crypto 领域挣钱，你会不会向他们解释真实的情况，奉劝他们加入呢？

Huang:智能确实已经离我们不远了，它指的是识别模式、识别关系、推理并作出预测或计划行动的能力。我们现在有能力编写软件，并与计算机合作编写软件，可以实现许多类型的智能，在人类无法企及的规模和水平上做出多种预测。

例如，我们知道互联网上的内容极为丰富、规模庞大，且扩展速度惊人，但我们只有一部手机，那么我们是在海量的内容中找到自己感兴趣的内容的呢？这就需要人工智能了，也被称为推荐系统，它可以根据内容的性质、特点，以及你的个人偏好来预测出你想看的内容。这真的可以称得上是一个奇迹，如今它主要是面向消费，而在未来它还可以预测出适合你的金融策略、医疗疗法、养生方式或者出游计划。有了人工智能，所有这些事情都将成为可能。

Ben:我的读者可能会比较熟悉这个话题，因为我之前就写到过，在互联网时代，挣钱的一定是能将内容正确投放的人。你刚才提到说，要想做到这一点，就必须有人制造芯片和软件，使他们能够有效地做到这一点。现在很多互联网巨头都依赖于 Nvidia，这是个很好的事情。

Huang:是的，我们尽力为每个人提供服务。

Ben:比起你童年的体力劳动来说，这简直是一个质的飞跃。

Ben:我非常自豪的一件事是，我们是世界上唯一一家与世界上所有人工智能公司都有合作的人工智能公司。我们不仅是一个很好的合作伙伴，帮助其他公司取得了成功，同时在技术层面也取得了惊人的进展。因此，来找我们合作的企业也不在少数。我们从基本原理、构建芯片，到人工智能所有操作系统层，再到人工智能算法本身，都取得了一定的成果，所以我真的感到非常自豪。

Ben:谢谢你今天愿意参与本次采访，这是我做过的最长的一次 CEO 访谈，让我受益匪浅。

Huang:Thank you, Ben. It's been a pleasure talking to you.