封面观点 | 大模型正由快AI转为慢AI

大模型正由快AI转为慢AI

楼崇

前滩综研决策AI中心副总监

从自然语言处理（Natural Language Processing）的发展历程来看，AI（人工智能）技术正在经历一场深刻的变革。从最初的循环神经网络（RNN）到变换器（Transformer），再到基于变换器的双向编码器（BERT），直至现在的生成式预训练变换器（GPT），我们见证了AI从特定领域工具，向通用型智能助手的转变。

AI的进化过程，能很容易联想到人类认知的发展轨迹。就像婴儿经历咿呀学语阶段，通过模仿和记忆来表达简单需求一样，早期的语言模型也是通过海量数据训练获得基础的语言能力。然而，这种简单的模式匹配存在明显的局限性。比如在一道经典的数值比较测试问题上，当询问ChatGPT“8.9和8.11谁更大？”时，模型可能会因为简单地记住“11大于9”这样的模式而得出错误结论。

为了克服这种局限性，研究者们试图让AI“慢下来”，不再是即问即答，于是提示词工程师们开始在一些复杂问题上引入思维链（Chain of Thought, CoT）提示技术。通过引导模型将复杂问题分解为多个步骤，例如将8.9转化为8.90后再与8.11比较，模型能够得出更准确的结论。这种方法虽然牺牲了一些响应速度，但显著提高了推理准确性。

在检索增强生成（Retrieval Augmented Generation，RAG）技术的应用下，模型能获取最新且最相关的信息，大幅提升了生成内容的准确性和时效性。当AI能较好地满足人们查询、整理资料的需求时，人们开始进一步对AI提出能实时思考的要求。

最新发布的OpenAI o1模型（Strawberry）在这方面取得了突破性进展。该模型能够进行实时推理，不再完全依赖预训练数据中的模式，这使其在科学计算、数学推理和编程等任务上的表现超越了GPT-4。

另外，神经符号推理（Neural-Symbolic Reasoning）也值得我们关注。传统的深度学习模型主要依赖于统计学习和模式识别，而符号推理系统则擅长逻辑推理和规则应用。将这两种方法结合起来，可以让AI系统既具备处理不确定性的能力，又保持逻辑推理的严谨性。

大型语言模型（Large Language Model, LLM）的涌现能力（Emergent Abilities）也需要我们进一步发掘。这种能力并不是简单的数据累积结果，而是在模型规模达到某个临界点后突然出现的新特性。例如，GPT-4展现出的多模态理解能力和跨领域推理能力，就是这种涌现能力的典型表现。这启发我们思考：是否可以通过特定的训练方法，有目的地培养模型的某些能力，而不是被动地等待涌现？

通过结合深度学习（Deep Learning）和认知计算（Cognitive Computing）的优势，让模型能够像人类一样进行多步推理，这才是提升AI系统解决复杂问题能力的关键。这种转变不仅需要技术架构的创新，还需要在模型训练范式上进行突破，包括强化学习（Reinforcement Learning）和自监督学习（Self-supervised Learning）等技术的深度融合。

未来AI的发展，不应局限于提升计算速度和扩大模型规模，还要更加注重推理的质量和可解释性。通过引入认知架构（Cognitive Architecture）和元学习（Meta-learning）等先进概念，我们期待更多像人类一样“思考”的AI系统能够诞生。而这不仅需要技术的突破，也需要我们对AI的本质有更深入的理解。当我们让AI“慢下来”，赋予AI更多的思考时间、推理能力和自我评价能力，它将不再是简单的模式匹配工具，而是能真正理解和解决复杂问题的智能助手。这种转变，标志着AI正在向着更深层次的认知能力迈进，而这正是未来AI发展的重要方向。

文章来源：2024年10月2日《国际对标研究报告》

图片来源：互联网