大模型 2024 盘点：Agent 令人沮丧，GPT-4 级模型已不值一提

专家普遍认为，2024 年是'AGI 元年'。这一年，大模型行业发生了翻天覆地的变化：

OpenAI 的 GPT-4 已不再望尘莫及；图像、视频生成模型的作品愈发逼真；多模态大语言模型、推理模型、智能体（agent）取得突破性进展；人类与 AI 的关系也愈发紧密了…

那么，对于一个资深业内人士而言，大模型行业在这一年中又发生了什么变化呢？

日前，知名独立程序员、社交会议目录 Lanyrd 联合创始人、Django Web 框架联合创建者 Simon Willison 在题为 Things we learned about LLMs in 2024 的文章中详细回顾了 2024 年大模型行业的变化、惊喜与不足。

部分观点如下：

在 2023 年，训练一个 GPT-4 级的模型是一件大事。然而，在 2024 年，这甚至不是一个特别值得一提的成就。

在过去一年中，我们取得了令人难以置信的训练和推理性能提升。

推动价格下降的因素有两个：竞争加剧和效率提高。

那些抱怨 LLM 进展缓慢的人，往往忽略了多模态模型的巨大进步。

prompt 驱动的 app 生成，已经成为一种商品。

免费使用 SOTA 模型的日子一去不复返了。

智能体，仍未真正诞生。

为 LLM 驱动的系统编写优秀的自动评估，是在这些模型之上构建有用 app 最需要的技能。

o1 引领扩展模型新方法：通过在推理上花费更多计算量来解决更难问题。

美国对中国出口 GPU 的规定似乎激发了一些非常有效的训练优化。

在过去几年里，运行 prompt 的能耗和对环境的影响都大大降低了。

人工智能生成的未经请求和未经审查的内容，即为'泔水'。

最大限度利用 LLM 的关键在于，学会如何使用不可靠但强大的技术。

LLM 有真正的价值，但实现这种价值并不直观，需要指导。

学术头条在不改变原文大意的情况下，对整体内容做了精编，如下：

2024 年，大语言模型（LLM）领域发生了很多事情。以下是我们在过去 12 个月中对这一领域所发现的事情的回顾，以及我对关键主题和关键时刻的识别尝试。包括 19 个方面：

1.GPT-4 的护城河，被「突破」了

我在 2023 年 12 月的回顾中写道：'我们还不知道如何构建 GPT-4——当时，GPT-4 已经问世近一年了，但其他人工智能实验室还没有做出更好的模型。OpenAI 知道些什么，而我们其他人却不知道？

让我感到欣慰的是，在过去的 12 个月里，这种情况已经完全改变了。现在，Chatbot Arena Leaderboard 上已经有来自 18 个组织的模型排名高于 2023 年 3 月发布的原始版本 GPT-4（GPT-4-0314），这一数量达到了 70 个。

最早的挑战者是谷歌于 2024 年 2 月发布的 Gemini 1.5 Pro。除了提供 GPT-4 级别的输出外，它还为这一领域带来了几项全新功能，其中最引人注目的是 100 万（后来是 200 万）token 输入上下文长度，以及输入视频的能力。

Gemini 1.5 Pro 引发了 2024 年的关键主题之一：增加上下文长度。2023 年，大多数模型只可以接受 4096 或 8192 个 token，但 Claude 2.1 是个例外，它可接受 20 万个 token。如今，每个模型提供商都有一个接受 10 万以上 token 的模型，谷歌的 Gemini 系列可以接受多达 200 万的 token。

更长的输入，大大增加了使用 LLM 解决问题的范围：你现在可以输入一整本书并就其内容提问，但更重要的是，你可以输入大量示例代码来帮助模型正确解决编码问题。对我来说，涉及长输入的 LLM 用例要比纯粹依赖模型权重信息的简短提示词（prompt）有趣得多。我的许多工具都是采用这种模式构建的。

继续说一说「击败」GPT-4 的模型：Anthropic 的 Claude 3 系列于 3 月份推出，Claude 3 Opus 很快成为我最喜欢的模型。6 月份，他们又推出了 Claude 3.5 Sonnet——六个月后，它仍然是我的最爱。

当然，还有其他的。如果你今天浏览一下 Chatbot Arena Leaderboard，你就会发现，GPT-4-0314 已经跌至第 70 位左右。模型得分较高的 18 家机构是：谷歌、OpenAI、阿里巴巴、Anthropic、Meta、Reka AI、零一万物、亚马逊、Cohere、DeepSeek、英伟达、Mistral、NexusFlow、智谱、xAI、AI21 Labs、普林斯顿大学和腾讯。

在 2023 年，训练一个 GPT-4 级的模型是一件大事。然而，在 2024 年，这甚至不是一个特别值得一提的成就，不过每当有新的组织加入这个名单时，我个人还是会庆祝一番。