GPT之父谈未来五年的AI：模型规模见顶，下个突破点在用好AI涌现特质

牛顿家的计算机 2023年5月5日浏览：1238

文章来源：腾讯科技×Web3天空之城

丨划重点

①尽管 AI 模型性能惊人，但它们的学习能力仍远远落后于人类。它们需要大量数据来学习，而人类可以从很少的数据中学习很多。所以，要达到人类的学习速度，这些模型还需要做大量工作。很难预测这些模型何时会达到与人类相当的泛化学习能力。进步速度存在很大不确定性。

②伊利亚试图在开源与闭源以及非营利性与营利性之间找到平衡。他认为两端各有危险，理想情况是根据具体情况采取适当立场。安全考量说至关重要，但目前来说，竞争和商业需求也同样重要。因此 OpenAI 的公司结构是独一无二的，它是一家限制利润的公司而不是一家正常的营利公司。这意味着一旦它向投资者和员工完成义务，它最终会再次成为一家非营利组织。这是一个独特的结构，旨在让OpenAI以非营利的方式实现其使命。

③OpenAI 的关键绩效指标主要围绕技术进步，对系统有更好的理解和控制，有效执行研究和安全计划等。产品也很重要，但核心在于技术。

④深度学习在未来5-10年继续取得进展。虽然规模化进展可能会放缓，但深度学习的其他方面，如新发现的属性，将带来稳定进展。未来的系统将远远超过我们现在拥有的系统。专业训练与广义训练都可能有成果。拥有专业数据集和更强大的基础模型都有帮助。这取决于特定的任务，最佳方法是综合考虑。

编者引言：

4月20日，GPT之父，OpenAI创始人，首席科学家伊利亚首次回应阿特曼的“大模型规模已经见顶”言论，并分享了OpenAI的目标和KPI。

自从AI浪潮席卷而来之后，GPT之父伊利亚作为可能是最了解GPT的那个人已经接受过了很多来自各路媒体的访谈。但这一次的访谈可能是最特殊的一次：他难得的表现出了一些私人氛围和轻松态度，因为这是来自他母校斯坦福的邀请。

虽然作为一个科学工作者，伊利亚依然保持了他的严谨和理性。但因为回家的安心感，他还是透露出了之前访谈中没有提到的很多关于OpenAI的组织逻辑。包括他们从非盈利机构走向盈利机构的心酸历史和他们在这过程中的道义坚持，OpenAI的KPI逻辑，坚持着科研非盈利机构的初心，这些纯粹的目标到现在都没有改变，也正是它们造就了OpenAI的领先。

除此之外，他还更清晰的对阿特曼前两天的“大模型卷规模的时代结束了”做了详细的注脚，以专家的角度展望了未来五年深度学习的发展：轻易提升的时代结束，但更精细的模型和更垂直的模型调教将带来AI的新跨越。

在这个对谈中，他还谈到了神经网络和生物大脑的异同，以及对人类意识的好奇如何推动他进入这个行业。这些看似私人的叙事实际上讲述了人工智能发展最核心的逻辑：基于对人的认知理解，人工智能才可能涌现。在这一点上，回响着深度学习之父Hinton对脑科学的痴迷，也注释了造就了GPT的底层Transformer 模型的认知心理学逻辑起源。这也足够给目前更追求着复制和单纯的技术研究的中国人工智能企业以启发：回归根本问题，才有可能造就革新性的超越。

GPT之父OpenAI Ilya斯坦福谈AI 完整版1-4

关于Ilya的介绍

Ravi：

欢迎YouTube和斯坦福社区参加创业思想领袖研讨会。这次研讨会由斯坦福大学工程学院下属的斯坦福创业中心和斯坦福大学创业学生商业协会主办。我是拉维·巴拉尼，在斯坦福大学管理科学与工程系任教，也是企业初创公司的加速器Alchemist的主任。

今天，我们很荣幸请到伊利亚·萨茨基韦尔来参加ETL。伊利亚是OpenAI的联合创始人兼首席科学家，OpenAI致力于研发造福全人类的人工智能。

伊隆·马斯克等人称，伊利亚是大型语言模型 GPT-3 及其面向公众的产品 ChatGPT 的基石。自去年11月发布以来，很少有产品发布像 ChatGPT 一样引起这么大的兴奋、好奇和担忧。

伊利亚是美国和世界从以色列和俄罗斯获得的惊人人才的又一例证。伊利亚出生在俄罗斯，5岁时搬到以色列长大。他本科学习的前半段是在以色列完成的，后来转学到多伦多大学完成数学学士学位。他在多伦多大学获得计算机科学硕士学位和博士学位，随后来到斯坦福，在安德鲁·因格之后短暂工作，然后回多伦多大学在他的导师杰弗里·辛茨的研究公司DNN研究所工作。

随后，谷歌在2013年收购了DNN研究所，伊利亚成为谷歌大脑的一名研究科学家。2015年，他离开谷歌成为当时新成立的OpenAI的技术主管。

ChatGPT自去年11月发布以来对世界的影响难以估量。

虽然ChatGPT似乎从无到有，颠覆了世界，但事实上，是AI创新历史的深厚积淀导致了那一刻。尽管ChatGPT极具革命意义，但伊利亚对于AI的创新和突破性贡献并不陌生。

杰弗里·辛茨曾说，伊利亚是2012年AlexNet卷积神经网络的主要推动力。AlexNet被誉为深度学习革命的开端，引领我们走到今天。

当然，自OpenAI成立以来，ChatGPT花了7年时间才最终面世。

伊利亚于2022年当选皇家学会院士，2015年入选MIT科技评论35岁以下35人榜单，2014年获得多伦多大学年度创新奖，2010至2012年获得谷歌研究生奖学金。

大家请给伊利亚一个虚拟的热烈掌声，欢迎他来参加创业思想领袖研讨会。

深度学习的原理解释

Ravi：

伊利亚，想象一下掌声欢迎你，任何时候欢迎你回到斯坦福校园。我们有很多话题要讨论，我知道我们会有大量时间。

关于ChatGPT和大型语言模型，听众的了解程度差异较大。

我想首先就技术方面问一个简单的问题：OpenAI及生成AI的核心技术是大型语言模型。你能简单描述一下这项技术吗？现在站在技术最前沿，有什么技术结果让你惊讶，你当初没料到的？

Ilya：

是的，我可以解释这项技术是什么，以及为什么它起作用。

我认为它起作用的解释既简单又极其美妙，原因如下：人脑是我们在世界上最好的智能例子。我们知道人脑由大量神经元组成，非常之多的神经元。神经科学家研究神经元几十年，试图精确理解它们的工作原理。

尽管我们的生物神经元的运作仍然神秘，但最早的深度学习研究者在20世纪40年代提出了一个相当大胆的推测：人工神经元(我们在人工神经网络中使用的)与生物神经元有点相似。这是一个假设。我们现在可以采用这个假设。这些人工神经元的好处是，它们更简单，可以从数学上研究。

深度学习先驱取得的一项非常重要的突破就是发现了反向传播算法。这是一条数学方程，说明人工神经网络应该如何学习。它提供了一种方法，使用大型计算机实现这个神经网络的代码，然后有一条方程可以编程，告诉我们这个神经网络应该如何调整其连接以从经验中学习。

进一步的进步需要理解这个学习过程有多好和有多强大，以及在何种精确条件下这个学习过程效果最佳。尽管我们使用计算机，但这有点像生物学实验。

深度学习的大部分进展归结为：我们可以在大型计算机上构建这些神经网络，并可以在某些数据上训练它们，使这些大型神经网络做数据要求它们做的任何事情。

大型语言模型的想法是：如果有一个非常大的神经网络，可能现在离人脑不远了，我们可以训练它来从文本中的前面几个单词猜测下一个词。这就是大型语言模型的概念：训练一个大型神经网络来从先前的词猜测文本中的下一个词，你希望神经网络尽可能准确地猜测出下一个词。

现在发生的事情是，回到我们最初的假设，人工神经元与生物神经元可能没太大不同。所以，如果有一个像这样的大型神经网络，可以很好的猜测下一个词，那么它可能与人们说话时所做的事情没什么不同。这就是我们得到的结果。

现在，当你与这样的神经网络对话时，它具有极佳的对下一个词的理解，它可以缩小范围，它看不到未来，但它可以根据其理解正确缩小可能性范围。能够非常准确地预测下一个词，这是AI理解运作的方式。

神经网络理解意味着什么？难以给出一个清晰的答案，但很容易测量和优化网络对下一个词的预测错误。我们不一定理解(内部发生了什么)，但我们可以优化预测，这就是我们所做的。这就是目前大型语言模型如何产生的：它是大型神经网络，使用非常强大的反向传播算法进行训练。

如果你愿意想象人工神经元与生物神经元没有太大不同，那么是的，像我们的大脑一样，它们可以做得非常好，能够猜测下一个词。

GPT很强，但和人类比学习能力很差

Ravi

所以，如果我理解正确，只是为了使这个比喻在生物大脑和这些神经网络之间更加具体，如果人类是1倍学习速度，你了解最新的ChatGPT模型，你会把最新的ChatGPT模型与人类相比，比例是多少？如果人类是1倍，ChatGPT是多少？

Ilya：

有点难以直接比较我们人类和人工神经网络，因为目前人类能从更少的数据中学习更多。这就是为什么像ChatGPT这种神经网络需要如此多的数据来补偿它们最初学习能力缓慢的原因。

随着我们训练这些神经网络，使它们变得更好，学习能力开始出现。但总的来说，人类学习的方式与这些神经网络开始的方式截然不同。例如，这些神经网络仅仅在数学或编程方面非常精通，但要达到一定的水平，比如精通微积分，需要大量的教科书，人可能只需要两本教科书和200多个练习题就可以了。

Ravi：

所以，如果放松数据约束，让机器消耗尽可能多的数据，你认为它现在的运作水平是人类的十分之一左右，还是更多或更少？

Ilya：

要回答这个问题仍然很难。让我解释为什么我犹豫给出一个这样的数字可能会误导。因为目前，任何这样的神经网络在知识范围和规模方面肯定都超越人类。例如，它们在诗歌和任何话题上发言都很流畅，它们可以谈论历史事件和许多事情；但另一方面，人类可以进行深入研究。一个专家会对某个话题有深入的理解，尽管可能只读过少量文档。

由于这种差异，我真的犹豫给出一个像“某个数字”的答案。

Ravi：

你认为会有一个奇点，机器会超过人类在学习和适应速度方面的进步吗？你认为这个时间点会是什么时候？

Ilya

我不知道这个时间点会是什么时候。我认为需要一些更进一步的进展，但我绝对不会对这个时间点的出现下注。

Ravi：

你能给出一个范围吗？是下个月，明年，还是更长时间？

Ilya：

我认为这些事情的不确定性相当大，因为这些进步可能需要相当长的时间，也可能在某些年内出现。有很多推动力，但很难给出一个校准的答案。

GPT之父OpenAI Ilya斯坦福谈AI 完整版2-4

ChatGPT没有意识，但可以设计实验去测试未来的AI

Ravi：

我还有一个问题，然后会转到其他一些问题。

我知道有报道说，当你还是个孩子时，意识的概念让你感到不安。我不确定“不安”这个词的意思，但我很好奇，你是否将意识，感知或自我意识视为学习的延伸？你认为这也是必然会发生的事情吗？

Ilya：

是的，在意识的问题上，小时候我会看看我的头，我会想我怎么会看到我的手，我怎么能看到自己？我不知道如何解释得更清楚，所以这是我感到好奇的事情。意识是棘手的，如何定义它？它长期以来一直难以定义，那么你如何在一个系统中测试它？也许有一个系统可以完美地运行，完美地按你的预期运行，但是由于某种原因，它可能并没有自主意识。

我确实认为有一个非常简单的方法，有一个实验可以验证AI系统(是否有意识)，但我们现在还不能运行。但也许在未来，当AI能从更少的数据中学习得非常快时，我们可以做如下实验：我们可以非常仔细地整理训练数据，永远不会(在训练数据里)提到意识的任何事情，我们只会说"这里有一个球，这里有一个城堡，这里有像一个小玩具"，你可以想象这种类型的数据，它会非常受控，可能会有几年的这种训练数据。

这样的AI系统会与许多不同的教师互动，从他们那里学习，非常仔细，但永远不会谈论意识，人们不会和AI谈论除了最表层的经验概念之外的任何事情。

然后在某个时候，和这个AI坐下来，说好的，我想告诉你意识，这是人所描述但不是很清楚的现象，人们对此有不同的看法。

想象一下，如果AI说"天哪，我也有同样的感觉，但我不知道如何表达"，那就有意思了，这肯定是值得(研究人员)考虑的事情：

如果AI只是被训练来处理非常平凡的数据，关于物体和移动，或者你知道的某些非常狭隘的概念。我们不提意识，但AI最终还是以我们能认出来的方式雄辩和正确地谈论，那(AI拥有意识)将是令人信服的。

Ravi：

你认为意识是某种程度上的事情还是更加二元的？

Ilya：

我认为这更多是一个程度的问题。我认为，假设一个人非常疲倦，或者也许喝醉了，那么也许有人在那个状态下时，他们的意识可能已经在某种程度上减弱了。我可以想象动物有一个更加减弱的意识形式，如果你想象(意识)从类人猿，到狗和猫，然后到老鼠，甚至到昆虫，我会说意识是相当连续的(发展过程)。

开源和闭源，OpenAI转向营利性公司的故事

Ravi：

虽然我很想继续在技术方面提出更多问题，但我想转而谈论OpenAI的任务，以及您如何看待道义的任何问题；作为首席科学家，道义在什么程度上影响您，如何看待您的角色。

让我先提出几点基础，然后让您发言。你知道，OpenAI的任务是确保人工智能的进步使全人类受益，它最初是一个非营利性和开源的机构，现在是一个营利性和闭源的机构。

我相信最初是马斯克招募您加入OpenAI，并在它还是非营利组织时捐赠了1亿美元。这表明最初的愿景是为了抵制谷歌和企业界，他不希望只由营利性企业控制的世界中存在AI构成人类存在威胁。现在，OpenAI既不开放，也不完全是非营利性的，它也是一个与微软有密切关系的营利性企业。看起来世界可能朝着微软和谷歌之间的私人垄断发展。

您能够解释从非营利性转向营利性的过程吗？

您在做出这一决定时是否考虑了道义问题？

您如何看待自己作为首席科学官的角色起到的作用？

或者您是否更多地把它视为其他人应该处理的事情，而您主要只是负责推动技术进步？

Ilya：

这个问题有很多部分。让我想想最好的方法来处理它。

有几个部分：开源与闭源的问题；非营利性与营利性的问题；与微软的关系；以及如何看待伊隆·马斯克最近的评论；然后是关于我如何看待这件事的问题。也许我会从这里开始，我认为这更容易。

我这样看待我所担任的角色：我对OpenAI所做的事情感到直接责任，尽管我的角色主要是推进科学进步，但事实上，我仍然是公司的创始人之一，最终，我非常关心OpenAI的总体影响。

现在，我想继续谈论开源与闭源，和非营利与营利，我想从开源与闭源开始。

我认为AI面临的挑战是全方位的，涵盖了许多不同的挑战和危险，这些挑战和危险彼此矛盾。我认为开源与闭源是一个很好的例子。为什么开源是理想的？让我这么说吧，开源AI有什么好处？答案是：防止AI建设者手中集中权力。

如果你生活在一个世界上，比如只有少数公司控制这种非常强大的技术，你可能会说这是一个不理想的世界，AI应该是开放的，任何人都可以使用AI。这是开源的论点。

当然也有因为商业激励反对开源，但还有另一个长期的论点也反对开源：那就是如果我们相信，AI最终会变得无与伦比的强大，如果我们达到一个AI如此强大的程度，你可以简单地告诉它：“你能主动创建一个生物学研究实验室吗？主动完成所有的文书工作，运营工作空间，招聘技术人员，聚合实验，主动完成所有这些事情"。

当AI开始变得令人难以置信的强大，难道这也应该开源吗？

所以我对开源问题的立场是：我认为可以考虑这些神经网络的能力。它们有多智能，能做多少事情。当能力较低时，我认为开源是一件好事，但在某个时候，(具体是哪个时候)可以辩论一下，但我会说，在某个时候，能力会变得如此巨大，以至于开源AI模型是明显不负责任的。

GPT之父OpenAI Ilya斯坦福谈AI 完整版3-4

Ravi：

闭源的决定是出于这个考量吗？还是出于与微软或其他人达成妥协以支持业务可行性的必要性？决定实际上是由这一理由驱使的，还是更多出于需求？

Ilya：

我要表达的意思是，在我看来，当前AI的能力水平还不高，不至于因为安全考量而闭源模型。这种研究目前确实是竞争阶段。我认为，这些模型的能力如果继续增强，将有一天，安全考量会成为不开源这些模型的明显和直接的驱动力。

这是开源与闭源的问题，但您的问题还提出了另一个方面，即非营利性与营利性。我们也可以讨论这个问题。

事实上，从某种意义上讲，如果OpenAI能够一直保持非营利状态，直到完成使命，那将是更可取的。

然而，值得指出的一点是，这些数据中心的成本非常高昂。我相信你读过各种AI初创公司筹集的资金数额，其中的绝大部分都流向云计算提供商。为什么会这样？原因是训练这些大型神经网络需要大量计算资源，这是很明显的。

你可以看到目前学术界和AI公司之间正在发生的分化。长期以来，许多十年里，人工智能领域的尖端研究都在大学的学术部门进行。这一情况一直持续到2010年代中期。但在某个时候，这些项目的复杂性和成本开始变得非常高昂，大学无法与业界竞争，现在大学需要找到其他方式来获得(资源)。这些方式确实存在，只是和当前公司获得资源的方式不同。

在这种背景下，非营利组织的问题是，向非营利组织捐款的人永远不会看到任何回报，这是真正的捐赠。不管你信不信，让人向非营利组织捐款实际上要困难得多。

所以，我们在想，解决方案是什么，可以好的可以采取的行动？所以我们想出了一个我所知世界上所有公司结构中独一无二的主意。OpenAI 的公司结构是绝对独一无二的。OpenAI 不是一家营利性公司，它是一家限制利润的公司。

我想解释这意味着什么。这意味着OpenAI的股权更像债券而不是正常公司的股权。债券的主要特征是一旦支付就消失了。换句话说，OpenAI对其投资者的义务是有限的，而不是正常公司对其投资者的无限义务。

Ravi：

这是否包括创始人？创始人是否持有OpenAI的股权？

Ilya：

萨姆·奥尔特曼没有股权，但其他创始人有。

Ravi：

它是有限的还是无限的？

Ilya：

它是有限的。

Ravi：

这种限制是什么？因为创始人我假设不是以名义股份价值入股的。

Ilya：

我不确定我是否精确理解这个问题，但我可以回答我理解的部分，就是肯定有不同。它与正常的创业公司股权不同，但也有一定相似之处，比如越早加入公司，限制越高，因为需要更高的限制来吸引初期投资者。随着公司继续成功，限制会降低。

这为什么重要？这是因为这意味着当公司向投资者和员工支付完所有义务后，OpenAI会再次成为一家非营利组织。

你可能会说这完全疯狂，这不会改变任何事情。但值得考虑的是我们期望什么，更重要的是考虑我们认为AI将成为什么。

我认为OpenAI实现其使命，向投资者和员工支付义务，在计算机变得更强大的时期成为非营利组织，这时经济动荡会很大，这种转变将非常有益，这并不令人难以置信。这是限制利润与非营利的答案。

你的问题还有最后一部分，我知道我讲了一会儿，但最后一部分是与微软的关系。

在这里，非常幸运的是，微软正在以正确的方式思考这些问题，他们理解人工普遍智能的潜力和严重性。例如，在OpenAI的任何投资人签署的所有投资文件上，包括微软在内，微软是OpenAI的投资者，这与谷歌DeepMind的关系非常不同，任何签署任何投资文件的人都会在投资文件顶部看到一个紫色的长方形，说明OpenAI的信托责任是OpenAI的使命，这意味着如果使命与之相悖，你就有可能损失所有的钱。但这是所有投资者都签署的内容。

Ravi：

让我向大家清楚说明，因为谷歌收购了DeepMind，所以DeepMind只是谷歌内的一项资产，但是OpenAI，微软是投资者，所以对OpenAI使命的信托责任，这一责任由非营利组织持有，是有限合伙人还是普通合伙人？

Ilya：

我不能告诉你具体细节，但这就是总体图景。

对暂停AI实验的回应

Ravi：

有人说，现在包括苹果公司联合创始人史蒂夫·沃兹尼亚克和埃隆·马斯克，签署了一份著名的公开请愿书，说我们正在接近或者越过关键时刻，如果现在不停止它们，到那时已经不可能控制人工智能及其产生的后果，他们呼吁停止人工智能。

我很好奇，你是一个世界公民，伊利亚，你出生在俄罗斯，在以色列长大，你是加拿大人。OpenAI对这份公开请愿书的回应是，我知道萨姆基本上说这不是解决问题的正确方法，但与此同时，萨姆也与许多国家进行全球巡回演讲，这些国家也可能对西方持敌对态度。

你认为将技术传播到世界各地方面，有任何公民义务或道德义务吗？现在通过OpenAI，你认为这应该受到监管或某种监督吗？

Ilya：

让我想想，这个问题再次有许多部分。

的确，AI将变得极其强大和极其变革性。我确实认为，我们将要走向一个有明智政府监管的世界，这里有几个维度。

我们希望生活在一个有明确规则的世界，例如训练更强大的神经网络。我们希望对这些神经网络今天能做什么，以及我们预期在一年内或训练完成时能做什么进行仔细的评估和预测。

理性地，我不会用“放慢进步”这一词，我会用“使进步合理”来描述。

这样，在每一步中，我们都做了功课，事实上，我们可以作出一个可信的说法，即“我们训练的神经网络系统正在做这件事，这里是所有的步骤，它已经被验证或认证。”我认为这就是我们要走向的世界，这也是正确的。

至于公民义务，我会这样回答，有两个答案。显然，我住在美国，我真的很喜欢这里，我想要这个地方尽可能繁荣兴旺。我当然关心这个；当然，世界远不止美国，这些国家之间的关系将如何解决，我认为这些问题有点超出我的专业知识，但我相信也会有很多讨论。

OpenAI的KPI

Ravi：

是的，非常感谢你，伊利亚。我可以稍微谈谈策略吗？我很好奇，就你们内部而言，你们追踪什么指标？目前，OpenAI成功的最神圣的关键业绩指标是什么？

Ilya：

最神圣的关键业绩指标，我认为这也是不同人会给你不同答案的问题类型。

但如果我真的要缩小范围，我会说，有几个真正重要的KPI，其一无疑是技术进步。

我们做了好研究吗？我们对我们的系统有更好的理解吗？我们能更好地训练它们吗？我们能更好地控制它们吗？我们的研究计划得到很好的执行吗？我们的安全计划得到很好的执行吗？我们对此多么满意？我会说这将是我对主要KPI的描述，做一项很好的技术工作。

当然，还有产品方面的事情，我认为这很酷，但我会说，核心技术才是OpenAI的心脏，关于这项技术的开发，控制和操纵。

Ravi：

你现在将OpenAI视为目的地吗？你认为OpenAI未来会成为人们前往的目的地吗，像谷歌一样；或者它将为其他应用程序提供动力，成为后端的一部分，或者成为后端基础设施的一部分？在五到十年内，它是一个目的地还是更加幕后？

Ilya：

嗯，事情变化得如此之快，我不能对五到十年内的正确产品形态做出任何断言。我想到的可能有点两者兼有的意思，但这种问题还有待观察。我想有可能两种情况都有，但这些事情还很新。

GPT之父OpenAI Ilya斯坦福谈AI 完整版4-4

给年轻人的建议

Ravi：

好的，我会问一个最后的问题，然后我会跳到学生的问题。如果你今天是斯坦福大学的学生，对人工智能感兴趣，如果你想成为伊利亚，你会把时间集中在什么地方？如果你也对创业感兴趣，你会给对人工智能和创业感兴趣的斯坦福本科工程师什么建议？

Ilya：

我认为在第一个方面，总是很难给出通用的建议。但我仍然可以提供一些通用建议。

我认为，一般来说，最好利用自己独特的倾向。你知道，每一个人，如果你想想人可能拥有的一系列倾向、技能或天赋的组合，这样的组合非常罕见。不管你选择何种方向，利用这一点都是非常好的主意。

关于人工智能研究，我可以说一些东西，但是你要倾向于你自己的想法，真正问自己你能做什么，是否有些对你来说完全明显的东西，让你觉得为什么其他人都没有理解。如果你有这种感觉，这是一个好迹象，这意味着你可能(可以做些事情) 我们要倾向于这一点，探索它，看看你的直觉是真是假。

我的导师Jeff Hinton说过这么一件事，我真的很喜欢，他说你应该信任你的直觉，因为如果你的直觉很好，你会走得很远，如果不好，那也没办法(笑)。

至于创业来说，我觉得这是一个你的独特视角是否更有价值甚至至关重要的地方。也许我会解释为什么我认为在研究中(这种独特视角)更有价值，在研究中它也非常有价值；但是在企业中，需要利用你独特的生活经历，你看到了哪些东西，看到哪些技术，看看你是否可以聚焦在某个方面，然后真的去做。

所以这就是我通用建议的结论。

深度学习的未来五到十年：训练规模见顶，垂直训练蓬勃发展

Ravi：

我会过渡到学生的问题。最受欢迎的问题之一是，你如何看待深度学习在未来五到十年的发展？

Ilya：

我预期深度学习会继续取得进展。有一段时间，很多进展来自规模化，我们在从GPT-1到GPT-3的过程中看到这一点最为明显。但是事情会有一点变化。规模化进展如此迅速的原因是因为人们有这些数据中心，因此，仅通过重新分配现有资源，就可以取得很大进展。重分配现有资源不一定需要很长时间，只需要某人决定这样做。

现在不同了，因为训练规模太大了，规模化的进展不会像以前那么快，因为建设数据中心需要时间。

但与此同时，我预计深度学习会从其他方面继续取得进展。深度学习的技术栈非常深，我预计会有许多层面的改进，结合在一起，仍然会带来非常稳健的进展。我猜想可能会有新的，目前未知的深度学习属性被发现，这些属性将被利用，我完全预期未来五到十年的系统将远远好于目前我们拥有的系统。但具体怎么样，我认为这有点难以回答。因为改进可能只有一小部分重大改进，还有大量小改进，都集成在一个大型复杂的工程产物中。

Ravi：

我可以问你一个问题吗，你的联合创始人Sam Altman说我们已经达到通过扩大语言模型规模能取得的最大限度(进展)。你同意吗？如果是这样，那么下一个创新前沿是什么，你正在关注什么？

Ilya：我想也许，我不记得他说了什么，但也许他的意思是轻易扩展的时代结束了，或者类似的意思，比如更大的神经网络当然会更好，但要做起来需要很多努力和成本。但我认为会有很多不同的创新前沿，一些可能被其他人忽略的前沿会非常有成果。

Ravi：

我可以进一步问吗？现在有这种争论，应该垂直聚焦还是广义训练？你认为通过特定数据集训练可以在某些领域如法律或医学取得更好的性能，还是广泛的数据集训练会更受益？

Ilya：

到一定程度，我们应该期待专业训练产生巨大影响，但是我们进行广义训练的原因仅仅是为了达到神经网络甚至能理解我们提出的问题的程度；只有当它有极其扎实的理解力时，我们才能进入专业训练，真正从中受益。我认为所有这些都是可能有成果的方向。

Ravi：

但你觉得我们什么时候会达到专业训练的重点？

Ilya：

如果你看看开源工作的人，在开源模型的工作里，他们做了不少这种专业训练，因为他们有一个相对较弱的模型，试图从中获得任何一点性能提升。所以我会说这是一个例子，一定程度上，如何训练模型这不是非此即彼的，你可以把它看作是一个连续的过程。

Ravi：