“很多人都在讨论算力短缺,但我认为真正重要的是如何把智能变得廉价且充裕。”
OpenAI CEO奥特曼在斯坦福最新访谈中直言,未来十年最大的变化并非模型能力的跃升,而是创业门槛的急剧崩塌。过去需要上百名顶级工程师才能推动的工作,如今借助AI和足够低廉的Token成本,小团队甚至个人就能独立完成——产品的迭代节奏、创业的野心边界,都已被彻底改写。
对于外界普遍担忧的就业冲击,奥特曼的态度反而有所缓和。他表示,自己短期内对就业的悲观程度已经降低,“我一直乐观地认为我们会找到新的事情做,在短期内,这可能不像我原先想的那样会被颠覆。”
更长远地看,奥特曼将AI视作未来像电力、互联网一样的公共基础设施。在他看来,用户终将不再关心底层用的是哪款芯片或哪个数据中心,只在意能否随时获得足够便宜、足够强大的智能服务。届时,人们购买的将不是算力本身,而是源源不断的“智能供给”。
然而,恰恰是这个愿景,让他对算力短缺尤为焦虑。当前全球计算资源已严重供不应求,且短期内难以缓解。随着模型越来越强、越来越便宜,需求几乎看不到天花板——未来每个人可能同时运行数十甚至上百个AI Agent,而需求的增速很可能持续跑赢硬件的扩张速度。奥特曼坦言,只要AI还在进步,算力短缺在某种意义上就会长期存在。
但硬币的另一面是巨大的机会。更廉价的智能将催生前所未有的应用场景,从个性化助手到科研自动化,从教育平权到产业重塑,许多过去因成本过高而无法尝试的想法,都将变得触手可及。对创业者而言,关键已不再是如何获取算力,而是如何利用充裕的智能去重新定义产品与体验。
奥特曼访谈核心观点如下:
廉价Token正在成为新的生产力要素。AI降低的不只是软件开发成本,而是在重构创业公司的生产函数。随着推理成本持续下降,一个人或小团队能够完成过去数十甚至上百名工程师才能完成的工作,创业门槛和组织规模被重新定义。
智能正在从产品演变为公用事业。正如用户不会关心电力来自哪座发电厂、互联网经过哪些服务器,未来企业和个人也不会关心底层芯片和数据中心,而是按需获取智能服务。AI最终售卖的不是模型,而是无处不在的智能供给。
规模化仍是AI发展的核心驱动力。从模型训练到企业组织,许多关键能力都来自规模扩张后的“涌现效应”。当系统达到足够大的规模时,往往会产生此前无法预测的新能力,而市场往往低估这种规模红利能够持续的时间和深度。
未来AI最大的瓶颈可能不是模型,而是智能供给。随着模型能力持续提升、成本不断下降,智能需求几乎没有上限。个人Agent、企业Agent和自动化系统将消耗海量推理资源,算力短缺可能长期存在。未来产业竞争的重点,将从创造智能逐渐转向如何以更低成本、更大规模地分配智能。
创业逻辑重塑:一个人可以完成“百人团队”的工作
在奥特曼看来,AI带来的最大变化,并非模型能力本身,而是创业门槛的急剧下降。
他表示,如今创业者只需要承担可负担的Token成本,就能够完成过去一支由100名顶尖工程师组成的团队才能完成的工作。而在几年前,这甚至不属于创业公司的可选项。
这种变化意味着,传统互联网时代关于团队规模、融资节奏和组织管理的许多经验正在快速失效。创业公司的竞争优势,不再主要来自工程师数量,而越来越取决于能否最大化调用AI能力。
因此,奥特曼认为,创业者不应执着于那些已经被广泛讨论的热门赛道,而应该寻找自动化编程时代之前根本无法实现的新机会。他相信,今天一定存在某些“完全不起眼、但未来可能成长为数万亿美元市场”的领域,而这些机会往往只掌握在极少数人手中。
从这个意义上说,未来最有价值的公司,未必拥有最多员工,而可能是最善于利用AI的人。
智能将成为下一代公用事业
如果说廉价Token正在改变创业,那么更长期的变化则是智能本身正在变成一种基础设施。
奥特曼将AI的发展与电力普及进行了类比。他提到,早期电力公司并不会向用户推销“电力”本身,因为大多数人并不知道电力是什么,也不知道自己为什么需要它。真正推动电力普及的,是“夜间照明”这样的具体应用场景。
在他看来,AI行业目前仍处于类似阶段。
尽管越来越多人相信智能将像电力和互联网一样成为社会基础设施,但行业尚未找到那个能够让普通用户直观理解其价值的“夜间照明时刻”。人们仍然习惯把AI视为一个工具,而非一种随时可调用的公共资源。
奥特曼设想,未来用户或许会拥有一种类似“OpenAI订阅”的服务。它连接所有设备,在后台持续运行各种Agent,帮助用户处理工作、决策和日常事务。届时,人们关心的将不再是底层使用哪种芯片、部署在哪个数据中心,而是能否以足够低的成本获得足够多的智能。
算力短缺难言终结,推理层成下一赛点
谈到当前市场对GPU的争夺时,奥特曼直言,全球正面临“巨大的计算资源短缺”。尽管大量新硬件正在建设之中,但需求增长的速度可能更快。他甚至表示,人们或许应该对此感到一定程度的担忧。
在奥特曼看来,问题的关键在于智能需求几乎不存在天然上限。
他将其与电力消费进行比较:如果价格下降十倍,人们会消耗更多能源;AI同样如此。如果模型变得更强、成本变得更低,用户只会消耗更多智能资源,而不会减少使用。
未来,当个人Agent成为现实后,每个人都可能同时运行十个、甚至上百个AI助手持续工作。届时新增算力很可能迅速被新增需求吞噬,供给与需求之间的紧张关系将长期存在。
正因如此,奥特曼认为AI产业的重点正在从训练模型转向推理基础设施建设。被问及如果自己是一名学生会研究什么方向时,他给出的答案并非新模型,而是推理层优化——如何让智能变得更便宜、更充裕、更容易获取。
以下是访谈内容:(由AI辅助翻译整理,部分内容有删减)
主持人:
请大家和我一起欢迎奥特曼。
这门课的灵感来源于我在这里做学生时的一系列不同经历。其中之一是特里·温诺格拉德的入门研讨课CS47N——“计算机与开放社会”。但另一个对我以及2014年校园里许多朋友和同龄人来说非常有影响的经历,是奥特曼的那门CS183——“如何创办一家初创公司”。所以真的很高兴你能回来。感觉怎么样?回到这里有什么感受?
奥特曼:
我刚才走进来的时候在想,如果时间再多一点,我真想把这门课更新一遍,因为我觉得现在创办初创公司的一切都已经发生了巨大的变化,而且我还没看到有人做过一个关于“现在应该如何创办初创公司”的好版本。所以我走进这里的时候就有那种感觉——“啊,再做一次应该会很有趣。”
主持人:
时间线上看,你是在2014年教的那门课。我想OpenAI是在2015年成立的,对吗?
奥特曼:
基本上是2016年。
主持人:
好的。所以从我的观察来看,你当时好像是先形成了自己关于“怎么做才正确”的工作理论,然后就去尝试实施了。这个判断大致准确吗?
奥特曼:
OpenAI其实是过去几十年里硅谷最奇怪的初创公司之一,因为它最初是一个研究实验室。它根本不是一家公司。初创公司的正常路径是,你先做一个产品公司,然后发展一段时间,增长放缓之后,你才开始建立研究实验室,把它嫁接上去,试图寻找下一个方向。而我们正好相反——我们先是研究实验室,后来才不得不嫁接了一个初创公司上去。我其实不太推荐这种方式。这是一种非常不寻常的做法。
不过我说的不是这个意思。我的意思是,我们当时仍然遵循的是AI时代的“前规则”,因为我们在试图创造AI,我们当时还没有做到。但现在,看着最优秀的初创公司在做的事情,和几年前相比已经完全不同了。我觉得我大概不会去做这件事,但应该有人重新开这门课。
主持人:
根据你的数据,你会做的最大的更新是什么?
奥特曼:
现在,你只要花一笔可负担的token费用,就能做到以前需要100人规模的超强工程团队才能做到的事情。这在以前是完全不可能的,根本不在初创公司的选项集合里,但现在可以了。所以我认为,你能承担的项目规模、你的行动速度、你能同时做多少事情,都已经完全不同了。
主持人:
那这会改变你在课程结束时布置给学生们去攻克的问题类型吗?
奥特曼:
我不认为“布置问题让人去攻克”这种方式有效。因为如果我能想到一个问题,如果我能想到一个很棒的创业点子,而且对我来说足够明显的话,那对很多人来说可能也很明显。我们创办OpenAI的时候,我们大概是——慷慨地说——全球四个AGI项目之一。你要找到的是那样的东西。我相信现在一定存在一些东西,在自动化编码时代之前是完全不可能的,现在却完全不显然,而且很快就会成为一个数万亿美元的市场,目前可能只有四家公司在做。但我不知道那是什么。你们知道那个东西的可能性比我大多了。我的脑子完全被OpenAI占据了。但你能被布置去做的那些想法,很可能不是你真正想要的。
主持人:
好的。不过我觉得,因为这本质上是一门系统课,可能值得推理一个特定问题,让大家能够把从系统角度拆解问题的方法应用到自己的问题上。
奥特曼:
对。
主持人:
你在2014年的课上就开始提到的一个概念,后来显然也在公开场合多次谈到,那就是“规模”。规模本身就是一个难题,“数量本身就是一种质量”。在过去的10年里,你似乎以各种方式对这个概念进行了实证研究。你能先帮我们拆解一下,10年后的今天你所说的“规模”是什么意思吗?你会如何把它作为一个系统设计属性来解构和应用——无论是作为工具还是其他什么?
奥特曼:
好的。我不知道为什么以下观察是真的——我提不出一个让我满意的理论来解释它,这让我有点紧张,但我还是要说,因为从经验上看它似乎确实是真的——那就是在我职业生涯中观察到的所有最有趣的事情,都或多或少与“涌现特性”或“规模持续提供远超共识预期的回报”有关。
这显然发生在AI模型的规模扩展中,但也发生在把更多聪明人聚集在一起思考同一个问题的场景中——在研究环境中。它也发生在公司以及规模经济中。你能以各种不同的方式获得这些效应。
我真正学到这一点是在Y Combinator。当时所有人都说:“YC变得太大了,应该缩小规模,每批应该只招更少的公司——以前每批十家公司的时候才是最好的YC。”很多非常聪明的人都在这么说,这听起来很有诱惑力,因为那样工作量会少很多。他们的理论是:最好的公司总是显而易见的,然后你资助剩下的那些,帮助不大。但实际上,YC成功的很大一部分魔力来自于每批学员之间的网络效应,而这是在规模上涌现出来的特性,以前从未被发现过。没有人尝试过以同样的方式大规模资助初创公司,因此也从未有人发现这个观察——当你这样做的时候,会发生一些在十分之一甚至百分之一的规模下根本不存在的、非常重要的东西。
还有很多类似的例子。我为了节省时间就不一一列举了。但我想再说一次,我无法解释为什么会这样,但从经验上看,当你找到一个可以推动的方向,把一个已经在较小规模上以某种有趣方式运作的东西推向人们从未尝试过的规模,这通常是个好主意。而且这似乎是大多数人做得不够的一件事。
我也不提供解释,但当我们说“我们要真正规模化AI模型”的时候,领域里所有的天才,大多数人都说:“这不太管用吧,这几乎算不上什么科学成果,它在更大规模上变好也没什么有趣的,你已经证明过了,为什么还要继续扩大?”我提到过YC的例子。我看到很多创业公司的创始人说:“嗯,如果我把这个东西规模化,可能会发生一些有趣的事情,但我因为一些不具体的原因有点担心。”而回顾大量以各种方式扩展公司的数据集,几乎总能发现有趣的东西。所以我认为方向性地看,这是一个值得推进的方向,而且严重被低估了。
主持人:
从系统设计的角度看,我认为人们不太愿意这样做的原因之一是——东西会以加速的、不可预测的方式出问题。如果你真的要规模化某个东西,它总会有那么一点“破破烂烂”的。总有很多非常聪明的人告诉你为什么不应该这样做——“别太野心勃勃,别搞太大,让我们试试更小的规模。”
那么,从系统问题的角度来拆解这个问题——当我们扩大AI模型的时候,有技术上的问题:我们到底能不能做到?这看起来很疯狂,没人想过尝试在10,000或100,000个GPU上跑一次训练,那需要堆叠工程人才。还有资本需求:要做什么才能做到?怎么才能形成一门生意?你怎么能考虑承担这种风险?还有文化方面的东西:研究人员会说,如果我们有这么多算力,为什么不把它分配到所有项目上?这种模式在我研究过的几乎所有领域中都会出现。
把问题分解成每个难点或每个“不做的理由”,然后逐一解决,这是非常重要的。
主持人:
我要在这个问题上再推进一步——很少有人能像OpenAI团队那样多年持续地规模化新产品和系统。但似乎问题之一是,存在所有这些先验条件——人类的心理模型和期望。你说东西会出问题,而最难重构的似乎往往是系统的“人的一面”——无论是有人的实施者,还是有人的参与者。关于在规模上组织人类,让他们参与到一个可能和过去的系统完全不同的新系统中,你学到了什么?
奥特曼:
我觉得,清晰的目标、清晰的实现路径,以及关于如何到达那里和如何在整个过程中做决策的清晰答案,这非常重要。回到我们决定扩大模型的例子,当时很多人说:“啊,这不一定行得通,会有这些问题,而且我们需要一个更多元化的组合。”但一旦我们说:“不,我们要押注规模化的深度学习,这就是我们要做的事。如果我们错了,我们就失败,但我们要这么做。以下是为什么我们要这么做,以下是我们对如果成功了世界会变成什么样的信念。”这非常有力量。
不管出于什么原因,我们并没有进化出擅长思考指数增长的能力。人们很难想象规模定律会继续以指数方式延伸,收入会指数增长,组织可以承载指数增长的复杂性。根据我的经验,要真正从第一性原理和人们一起推理“为什么这能发生”,需要花很多时间。
主持人:
我们可以拿两个例子来拆解一下吗?第一个是ChatGPT,第二个是Codex。这两者都带来了变革性的影响。我先做一个框架性的描述,你可以挑战我的假设,然后我们一起推理实际发生了什么。在ChatGPT的例子中,在模型规模化过程中,一个很大的思维障碍似乎是:“这些东西到底有什么用?这只是一个研究方案在找问题,研究优先,不是产品。”然后ChatGPT出现了,向世界证明了聊天体验是通用模型在面向消费者端的杀手级应用。几年后,显然编码成为了企业端的杀手级应用。那么,你如何比较和对比你们用来发现这些用例、发布它们、规模化它们、变现它们的系统?从这两个系统中有什么突出的经验?
奥特曼:
好的。我们当时做了GPT-3,我们需要赚钱,因为我们要扩大到数十亿甚至数百亿美元的算力集群。我们有GPT-3,它挺有意思的,是个很酷的演示,但我们想不出围绕它能做什么产品。我们试了几样东西,都没成。我们知道模型会越来越好,但我们想早点启动收入引擎。所以我们说:“既然我们想不出做什么产品,那就把它做成API,希望别人能想出来。”于是我们在2020年夏天发布了GPT-3 API。一开始完全没动静。大约一个月后,莫名其妙地,在同一天,几个不同的开发者让模型做了些很酷的事情,发到了推特上,其他人也开始尝试,然后很多人开始用这个API。
但如果回头去用GPT-3或3.5,你会震惊于当时的模型有多差,相对于它们当时引起的兴奋程度。人们尝试了各种东西,唯一能用GPT-3做出实质性业务的,是文案写作。那也不是很好,也不是很令人兴奋。我们觉得,只能等更好的模型了。不过,虽然那是唯一能跑通的业务,但开发者们已经发现了怎么输入提示词然后跟它聊天。我们看到很多人——他们没法用API做业务——但他们在用自己的API密钥来聊天。我们说:“我们可以做一个好的聊天机器人,人们显然想要这个。”我们有一个新模型——实际上我们已经有GPT-4了,但我们在中间有一个准备好的新模型叫3.5。我们发现了一种新的后训练方法,能让模型很好地遵循指令,让聊天变得更轻松。
然后我们说:“API运营得不太好,可能也就是一两千万美元年营收规模的业务,但有一个人们真正喜欢的东西。”按照YC的原则——“看到用户喜欢什么,就做那个”——我们说,那我们就围绕它做个聊天机器人。发布的时候我们仍然不觉得它会做得那么好。它本意是一个研究演示,用来说服其他人应该构建聊天类产品,然后为我们的API付费。但它真的病毒式爆红了。
我在YC学到的另一件事是:当一个东西真正开始增长,而且它还不太好用的时候,你手上就有一个稳赢的产品。我们有大约五天时间,流量激增,然后回落,每个人都觉得“好吧,这只是一轮炒作周期”。但第二天它又达到一个更高的峰值,当天晚些时候又回落,人们又说这是炒作周期。到第四五天的时候,我意识到:“我知道这是怎么回事了。我知道接下来会发生什么。我们手上有潜力做一个杀手级产品。”我们知道可以把它做得更好——我们有GPT-4,我们可以继续扩展。到第五天,我们把所有人召集起来说:“这是紧急情况——是好的那种紧急,但我们必须同时建立公司和产品。”然后我们经历了大约两个月的疯狂扩展。然后我们说:“商业模式以后再说,现在先收费,免得算力账单爆掉。”显然这不是长期解决方案,但结果也奏效了。这就是ChatGPT的故事。人们之前只是没有跨过那个激活能去发现其中的巨大效用。
然后是Codex。实际上在ChatGPT之前,我们的计划是全力投入代码。我们知道这些模型能写代码,知道这会很有价值。但我们当时内部的想法是:编码是这些模型控制计算机世界的方式,机器人是它们控制物理世界的方式。如果你做了一个足够聪明的模型,既能写代码又能驱动机器人,你就能让这个智能在世界上为你做事。然后我们花了些时间才走到那一步。Codex在今年年初变得非常好,但到了5.5的时候,我们看到了真正的拐点——人们开始用它做出令人难以置信的事情。
主持人:
在课堂上我们早前讨论过,能力管道的形态在不同研究组之间开始变得更清晰、更标准化——有预训练、中训练、后训练,还有强化学习和监督反馈循环。你觉得这大致就是让Codex完成能力跃迁的管道形态吗?它会保持稳定一致,还是我们即将经历一次重大的管道重写?
奥特曼:
我认为这绝对是当前的管道。我预计我们会经历一次重大的重写。我不知道什么时候会发生,也不知道具体会怎么发生。但对我来说有点奇怪的是,它如此恰好地形成了一条管道,感觉并不像最优解。
主持人:
在你心中,什么才是最优解?
奥特曼:
我觉得这应该是一个让AI去研究的问题。我们现在已经到了这样一个节点——我们设定的目标是,到今年9月,我们将使用相当于50万个A100的GPU算力作为AI研究实习生;到2028年3月,我们将拥有一个从头到尾的、非常有才华的研究者水平的AI,能够发现全新的架构。所以我认为,用当前的管道和架构,我们能够跨过“AI能做令人难以置信的工作”这个门槛。
主持人:
你刚才描述的一个事情是——我们在课堂上一直在讨论系统框架和类比,把某个领域的概念翻译给其他没有上下文的人。但有时候因为翻译问题,类比推理会有用,有时候误差会累积。你刚才说“我们的目标是把它当作AI实习生来用”,这在硅谷和懂管道运作的课堂里显然是个有用的比喻。但当你把它扩展到全球范围,没有这些上下文的人可能会用不应该的方式去类比这些模型。我们应该如何思考这些类比的局限性?在硅谷内部你觉得最有用的产品和研究类比是什么?在规模化这些类比时你发现了什么局限性?你如何在两个问题之间导航?
奥特曼:
我一直很有兴趣研究这个问题。我认为我们正在创造一种新的公用事业。这种事不常发生。电力是公用事业,互联网是公用事业,水也是——其实没那么多。所以没有太多例子可以研究好的隐喻或经验。但我最近在观察电力成为公用事业时发生了什么。这个类比在很多方面都很好,当然也不完美。但我能找到的电力公司资料显示,它们一开始不讨论“卖电”,因为没人知道那是什么,听起来很吓人——这东西要进你家,还能用一种可怕的方式把你电死,感觉和以前的世界完全不同。也许它们一开始试过卖电或营销电,我不知道。但无论如何,那不管用。然后它们开始向人们营销的是“夜间的光”——“你从我们这里得到的是夜间的光。顺便说一下,让你得到光的东西还可以做其他很多事情。”人们会说:“我为什么要那个?”它们说:“嗯,将来它会帮你洗衣服。”人们说:“不不不,这对我来说跨度太大了。”
所以我不知道我们在这件事上的类比应该是什么。但我怀疑,即使我们完全正确——智能将成为一种新的公用事业,每家公司、每个客户、每个政府都需要获取它,并以各种不可思议的方式使用它——你会有一种OpenAI token订阅,插到所有东西里,用来访问所有东西,它一直为你运行,做着令人惊奇的事情——我现在仍然不太确定我们现在的正确方式是把它类比成“我们在销售智能”,因为人们不知为何就是没有共鸣。我不知道我们的“我们在销售夜间的光”的等价物会是什么。但如果我们想成为一种新的公用事业,我们需要找到一种方法向世界解释,拥有这种智能管道、你可以用它做任何你想做的事,到底意味着什么。
主持人:
这个班上出现的一个涌现特性是——不同演讲者多次提到了“公用事业”类比,但指向的是不同的东西。黄仁勋把计算类比为公用事业,以及为什么应该有人人可用的访问权限,还谈到斯坦福应该调配预算,为全校采购计算作为公用事业。而你刚才把智能部分类比为公用事业。这两者都是真的吗?其中一个更可能是真的吗?人们应该如何推理计算作为公用事业与token作为公用事业?这里我说的计算是指芯片,token是指模型输出。
奥特曼:
我认为作为消费者,作为一个企业或个人,你会以更接近token的方式思考,甚至可能比token高一层的抽象。你不会太关心硬件在哪里、用什么芯片、什么在驱动它。这些东西会被抽象掉。你关心的是当你与系统交互时——你能不能大量使用?便宜吗?做得好不好?现在它是token。随着我们进入一个大家都有一个持续运行的智能体、一直为我们服务、一直有用的世界,你可能会在更高一层去思考它。但我的猜测是,就像你付手机账单时,你说的是“我在买通话时长和多少GB的流量”,它做所有这些事,你用各种应用——你其实不太关心基站里的硬件是什么、它怎么连到互联网。
主持人:
我知道我可以深入聊公用事业基础设施很久,但我想确保我们切换一下,让内容对同学们更相关。通常我们有提问环节,但今天没有听到——除非你愿意即兴回答。
奥特曼:
哦,好的。那太好了。即兴发挥吧。
主持人:
最后一个问题,来激发一下大家的创造力——这门课(或CS183)的期末项目是“单人前沿实验室”。每个人都在做一个项目,模拟自己作为一个独立的实验室,拥有所有合适的工具——他们有来自Cloudflare的数十万美元信用额度,可能还有一些OpenAI的token,还有大量算力可用。如果你在这门课上,你会做什么作为你的“单人前沿实验室”项目?
奥特曼:
首先,我觉得这是个很棒的项目。我认为,因为我们刚刚在谈论公用事业的框架,这让我很关注——有很多非常聪明的人在研究很好的训练想法,我们将会有令人难以置信的模型。无论你们做什么,我们都会很快拥有令人难以置信的模型,我在这里保证。但我认为我们在“大规模交付廉价智能”方面的投入还不够。所以也许我会去做推理那部分——我们如何让这种令人难以置信的智能变得便宜而丰富?我认为这是投资不足的领域,而且我认为所有前沿实验室都必须在一定程度上变成“推理公司”。
主持人:
现在转项目可能有点晚了,但晚做总比不做好。做任何你想做的事。
好的,我们开始提问吧。我来主持,尽量保持高效、不要搞事。记住,这是一门CS课,但奥特曼没问题。哦,我们有问题了。太好了。
提问者1:
问题关于你对该观点的看法:LLM是一条死路。首先,在实现人类水平智能方面,这些模型已经在某些方面远超人类智能,但在另一些方面又远不如人类。例如,它们在需要长期规划、高判断力的任务上似乎比人类差得多。另一方面,昨天我们有一个模型发现或否证了一个数学猜想——一个艾里什问题,聪明人研究很久了,很多人(我不知道立昆是不是其中之一)最近还说这种事不会发生。然后模型就这么做了。现在很多数学家都在说:“数学是不是完了?这对我们领域意味着什么?”所以显然LLM有能力发现新知识,显然它们能做人类做不了的某些智能任务。它们会继续大规模扩展。它们能在多大比例的任务上比人类做得更好,我们拭目以待。但我怀疑会很多。
关于“不相信指数增长”的问题,我认为这个领域实际上被一代科学家拖累了——他们太确定“扩展不会产生什么结果”,然后有些人只是看着图表说:“嗯,看起来在持续变好,继续吧。”我认为世界模型显然很重要,对于机器人等事情也是需要的。但在此时此刻看衰LLM的扩展,我觉得是相当误导的。
主持人:
当“我早就告诉过你”先生,会不会觉得烦?
奥特曼:
不烦。我的意思是,有些推特喷子多年来一直在说“不会成功的,这太蠢了,这是欺诈,这公司要完,这研究方向要失败”。我以前更在意,但现在我甚至没有“我早就告诉过你”的感觉。差不多是——“你还在这上面纠结呢?”数据已经相当有力地站在我们这边了。而且事实上你还一直在说我们错了,这真的不困扰我。我觉得是时候向前看了。
有句话说:“疯狂就是面对不work的数据还一遍又一遍地做同样的事。”他们一直在重复。从某种意义上说,这是一种疯狂。我认为发生的是:如果你把自己的身份认同建立在某件事会或不会成功上,你把自我和那个信念绑定,然后科学或实证结果反驳了你,你因为太执着于身份认同而放不下,就看不清真相。我认为这是在两个方向上都应该提醒自己的重要一点。
提问者2:
你如何看待教育?它显然必须超级适应,我担心的是——我以为到现在它已经适应了。如果我们继续在“前AGI世界”的方式下教学和评估学生,那将行不通,会导致思维能力的萎缩。我以为这已经明显到让我不用太担心了。ChatGPT刚发布时,我说:“好吧,我们会有一年时间学生作弊、学不到太多,然后教育系统会重新设计自己。”我们会教得更好——人们会做那些必须用AI才能完成的项目,但仍然需要拓展思维、思考更多、发现新东西。
说实话,在ChatGPT发布三年半后的今天,我很难指出教育系统有任何一个显著的制度性变革。这对我来说是个预测失误。我以为那会发生。我毫不怀疑,我们可以像之前每一次技术飞跃一样重新设计教育方式,让你仍然需要学习如何思考。会有一些东西——比如我是一个通过写作来思考的人,我写很多东西从来不展示给任何人,但对我自己弄清楚某些事仍然很重要,所以我很庆幸我学会了写作。人们说同样的话也适用于编程。所以会有一些东西,我们教人做那些机器做得更好的事,只是因为教他们“思考和学习”的元技能本身是有价值的,这很合理。但还有很多其他东西,我们应该彻底改变教学、学习或评估的方式。如果我们不做,我认为人们的批判性思维能力会出现显著退化。
提问者3:
你在斯坦福最喜欢的课是什么?你希望自己当时上了什么课?
奥特曼:
斯坦福现在还开“入门导论”课吗?我大一每个学期都选了三门导论课,我都很喜欢。它们都非常不同。但回头看,我能够接触如此广泛的东西,对很多不同领域有一个非常浅的理解,这是一件不可思议的事。如果不是因为这些课,我就只会选CS和物理课,那当然也很好。但我现在回想更多的,是那些我上的完全随机、和我现在做的事无关、但以某种重要方式给了我不同视角的课。我觉得编程无论如何我都会学会的。我那时候不这么想——我当时觉得“这些都很酷,但主要会是学CS”。我只上了两年学,所以有很多我想上但没上到的课。但那是让我惊讶的地方。
提问者4:
你最“辛辣”的观点是什么?
奥特曼:
如果有更多时间想,我能想出更辛辣的。但我认为AI会继续走下去。我觉得这还不是被广泛相信的。如果这被广泛相信,社会上会有更多的连锁反应。也许这不是最辛辣的。实际上,也许这才是最高优先级的位元——如果AI进步在当前的指数轨迹上再继续三年半(从ChatGPT发布算起已经三年半了),即使我们再走三年半,世界的样子、社会的潜力将完全不同。
主持人:
让我试着给你更多“思考token”来激发这个点。如果我们把你当作一个前沿模型来对待,你有内在的能力,我们要试着在接下来的几分钟里激发人们不知道的你的能力。其中一个是你已经被持续后训练了——你在OpenAI以及全球外部反馈循环上不断进行强化学习,知道什么不work、什么work。现在如果我们把你当作一个预测引擎,提示是:未来10年你看到的三个最可能的分叉宇宙是什么?你对每个的概率评估是多少?
奥特曼:
一个感觉非常重要的分叉是:这项技术会被广泛民主化,还是集中在少数几家公司手里?我认为,有很多原因让你可以想象默认路径是集中到少数公司,它们成为地球上财富的重要组成部分——那显然是糟糕的,我们非常努力地推动反对这种情况。但这需要全世界的意志来真正避免,因为存在一种向心力。我认为我们需要推动这种“公用事业模式”的部分原因是:(a)如果少数公司拥有这一切,会非常不稳定、非常糟糕、非常不公平;(b)我认为存在真正的对齐失败和非常脆弱的世界。通向一个每个人赢、每个人的价值被代表、每个人都有自主权的世界的最佳方式,就是把这项技术推向世界。但会有一个围绕安全性和稳定性的非常强烈的反对论点。我认为这将是一个大分叉。这非常重要。我鼓励你们所有人在你们的职业生涯中努力推动——这是一种技术,它可以带给我们一个不可思议的科幻未来。生活会变得难以置信地好。我们会承担一些风险才能到达那里。但让这一切集中在少数公司手中的风险——即使我们是其中一家公司——是我们不应该容忍的。
所以我认为那将是一个大分叉。概率上,我认为世界应该有足够的利益让它以这种方式发生,所以我认为我们有80%的可能走在民主化的道路上。但会有非常强烈的安全信息,会有很多追逐权力的人想把权力集中起来。
主持人:
预测这个问题的一个难点在于——一旦你做出预测,你就有了影响预测的自主权。
奥特曼:
对。我的意思是,我们很清楚我们会用我们的自主权做什么。这是我们相信的。我们会尽一切努力把它推向这个方向。我们只是看到了另一个方向的力量。
也许一个相关的分叉——有很多关于未来经济模型的讨论:我们会不会搞全民基本收入?每个人会不会拥有每家公司的股份?是资本主义不变?有很多讨论。有一件事我觉得讨论得不够,那就是我们具体如何分配算力。也许很多经济可以以一种方式运作下去。实际上,我对短期就业的悲观程度已经降低了——我一直乐观地认为我们会找到新的事情做,但在短期内,这可能不像我原先想的那样会被颠覆。但我们现在正看到算力短缺,我可以想象情况会变得更糟,算力会成为人们需要的最重要的公用事业。如果算力价格从供需角度严重失衡,那么关于“公平分配算力意味着什么”将是一个非常有趣的分叉。
主持人:
你在经济方面做了两个很有趣的表述。你说我们可能需要全民基本收入,或者每个人都拥有一部分股份。我们这堂课的一位演讲者是尼古拉·坦根,他掌管挪威主权财富基金。他很棒。挪威主权财富基金持有全球所有上市公司1.5%的股份。他们实际上也有全民基本收入的变体。你可以说今天世界上已经存在这类做法的雏形,你可以说政府很大一部分职能就是以某种方式从纳税人那里重新分配收入。那么这些解决方案实际上需要是全新的,还是只是在这个时代重新实施?你如何思考这些解决方案的新颖性?硅谷往往有一种倾向,就是从第一性原理重新发明旧东西。我们应该只是看看现有系统然后微调它们吗?
奥特曼:
我不认为这些需要很新的想法。不过我要说,我对“某种所有权份额”的兴奋程度远高于“固定的月度现金分红”。我资助过一项大规模的全民基本收入研究,我也观察了人们投资初创公司时发生了什么,我知道哪种模式在人类心理上效果更好。所以我希望看到的是,随着世界的力量从劳动力转向资本——我认为这将继续发生——我们能找到一种方式,建立类似“公民财富基金”的东西,在国家层面乃至最终在世界层面,让你基本上拥有资本主义的一部分——这些公司的一部分。
主持人:
第二个分叉,关于算力瓶颈——你说当算力价格失衡的时候。我的理解是,根据我们看到的数据,H100和Blackwell的价格,长期预留和现货之间的价差曾经是5倍。我不确定现在还有那么高。我觉得好了一些。但确实,你甚至很难找到H100,因为它们今年基本都卖光了。这听起来对吗?
奥特曼:
没有异议。存在巨大的算力短缺。
主持人:
这是一个活生生的系统问题。对某些人来说,感觉就像在算力时代,所有厕纸都没了。为什么人们没有对此感到恐慌?
奥特曼:
我认为人们假设我们在现有硬件上会有巨大的推理效率提升。我也认为有一波硬件海啸要来了,但也许需求海啸更大。人们应该在一定程度上感到恐慌。
主持人:
根据你目前的数据,你觉得算力短缺会持续多久?
奥特曼:
我觉得这有点像——你不能在完全不谈价格的情况下谈论全球电力需求。如果电价下降10倍或上涨10倍,人们想用的电量会有极大不同。AI也是这样的。如果我们能让模型足够聪明、成本足够低,我认为需求基本上是没有上限的。所以在某种意义上,只要我们继续在这方面取得进展,短缺将永远存在——东西会被竞价到高于我们觉得合理的价格,即使人们不断获得更好更智能的东西,只因为如果你能拥有真正伟大的个人智能体,你可以让10个、100个一直为你工作,你想要100个——那就是大量的推理。
主持人:
太棒了。最后,我要把今天课堂的纪念品给你。谢谢你来做分享。
奥特曼:
谢谢大家。