GPT-4 在人工智能军备竞赛中加大了赌注
发布时间：2023-03-20 05:04:37
来源：科技前沿在线--小土豆
OpenAI最新的LLM功能强大得多，有时仍然是一门松散的大炮。
期待已久的OpenAI大型语言模型（LLM）系列更新终于来了。早期的演示表明 GPT-4 比其前身和竞争对手强大得多。但更重要的是，这种第四代生成式预训练转换器现在也是多模态的——能够处理视觉输入和文本。然而，该公司对该模型技术细节的保密引起了争议。
OpenAI周二在一篇博客文章中宣布了这一版本，并附有一份98页的技术报告，尽管该文件省略了关键细节，例如模型的大小，架构或训练方式。GPT-4已经集成到该公司广受欢迎的聊天机器人服务ChatGPT中。但是，此类 GPT-4 访问权限目前仅适用于付费订阅者。
(资料图片)
开发人员可以注册访问API，该API将允许他们将模型集成到他们的软件中，该公司透露，包括Duolingo，Stripe和Khan Academy在内的合作伙伴已经在他们的产品中使用该技术。微软还证实，自上个月推出以来，其新的Bing聊天机器人一直在GPT-4上运行。
“它非常接近某种弱的理解形式，尽管它不是理解我们所知道的方式。 ——Nello Cristianini，巴斯大学（英国）
OpenAI在其公告中表示，在进行一般对话时，新模型与其前身GPT-3.5之间的差异是微妙的。但在更复杂的任务中，差距变得更加明显，GPT-4 在广泛的机器学习基准测试中优于最先进的模型，包括那些旨在评估推理能力的基准。它在为人类设计的考试中也表现良好，在统一律师考试、大学和研究生院能力倾向测试（包括 SAT、GRE 和 LSAT）以及一系列专业考试和高中大学预科大学考试中得分接近前列。
与前几代LLM相比，GPT-4在推理能力方面的显着飞跃是最令人印象深刻的事情，NVIDIA AI的研究科学家Jim Fan说。“有史以来第一次，人工智能的基准将与人类的基准相同，”他补充道。
但是，GPT-4 与以前的迭代以及谷歌和 Meta 等竞争对手发布的 LLM 显着不同的另一种方式是它能够处理图像和文本。Fan说，这些多模态功能已经在学术界研究了很多年，但通过商业API访问它们是重要的一步，他补充说。
这些并不是人们能够使用的第一个多模态AI模型。OpenAI的DALL-E模型和开源的稳定扩散模型都能够将文本转换为图像。但 GPT-4 的工作方式正好相反，接受图像作为输入，然后回答有关它们的问题或将它们用作产生新想法的起点。
在演示中，OpenAI展示了该模型如何解释为什么基于图像的笑话很有趣，从冰箱内容的照片中生成食谱创意，甚至仅基于基本的草图编写工作网站。开发人员或公众尚未使用这些功能，但该公司已经与应用程序Be My Eyes合作，使用GPT-4来描述视障人士的照片中发生的事情。
除了为LLM开辟一系列新的实际用例之外，这种多模态可能是迈向更强大，更普遍的人工智能的重要一步，英国巴斯大学人工智能教授，《捷径：为什么智能机器不像我们一样思考》的作者Nello Cristianini说。
首先，这些LLM的培训方式可以从使用多种模式中受益匪浅，他说。使它们成为可能的主要创新之一是自我监督学习的想法，它消除了人类煞费苦心地标记训练数据的需要，而是允许人工智能通过摄取大量文本来自学。
当涉及到语言模型时，这是通过让人工智能猜测句子中的下一个单词来完成的。这不需要任何人工输入，因为模型可以从数据本身确定它是对还是错。Cristianini说，在网络规模的数据集上一遍又一遍地这样做，人工智能可以开发一个语言的统计模型，这种模型非常复杂，可以开发出新兴的能力。
“从科学家的角度来看，这是非常令人失望的。站在巨人的肩膀上是有整件事的，但如果我们知道我们站在什么样的肩膀上，那么就很难建立在它之上。 ——安东尼·科恩，利兹大学
使这些模型多模态可以加速学习过程，因为它允许一个数据源充当另一个数据源的监督信号。这不仅允许模型从更多形式的数据中学习，而且还可以帮助“基础”模型从其他媒体（如图像）的文本中学习的抽象知识。虽然GPT-4只是朝着这个方向迈出的一小步，但克里斯蒂亚尼尼说，随着更多模式的加入，人工智能可能会开始开发更复杂的现实模型。“这非常接近某种弱的理解形式，尽管它不是理解我们所知道的方式，”他说。
在解决迄今为止已被证明难以解决的一系列科学问题时，多模式也可能是一个关键因素，Air Street Capital的创始人，有影响力的人工智能状况报告的合著者Nathan Benaich说。“科学中的许多重大挑战 - 无论是物理学还是生物学 - 都需要融合尽可能多的数据模式，”他说。
但是，使用这些方法扩展到更多模式可能比看起来更难，英国利兹大学自动推理教授安东尼科恩说。LLM需要大量的示例来训练，虽然互联网提供了几乎无限的文本和图像供应，但其他类型的数据并非如此。“这一直是对这种技术的一大批评之一，它只需要相当疯狂的训练数据，”他说。
同样重要的是，不要夸大当前模型的能力，Cohn说。OpenAI在其公告中承认，GPT-4 存在与其前辈类似的问题，特别是它的“幻觉”倾向，这是指它自信地将实际上是错误的事情陈述为事实。虽然该公司已经阻止它提供有害的建议或危险信息，但它肯定会发生。也就是说，OpenAI声称GPT-4误导和歪曲的频率比GPT-82.3低5%。
鉴于此，科恩说，他很高兴看到OpenAI将模型构建为需要仔细监督的工具。然而，更成问题的是该公司决定不发布有关该模型的关键技术细节。这不仅使其他人更难调试和测试系统，而且还意味着AI社区的其他成员无法在他们的工作基础上进行构建。“从科学家的角度来看，这是非常令人失望的，”他说。“站在巨人的肩膀上是有整件事的，但如果我们知道我们站在什么样的肩膀上，那么就很难建立在它之上。
但最终，该公司的沉默是可以理解的，克里斯蒂亚尼尼说。ChatGPT的发布引发了大型科技公司之间的LLM军备竞赛，放弃他们如何构建GPT-4可能对他们的竞争对手有利。与此同时，即使他们公布了细节，也很少有研究小组拥有建立这种规模或复杂性模型的专业知识或资源。“即使论文是公开的，我们也无法复制，”他说。“但竞争对手可以，所以这就是问题所在。
标签：
