复杂推理：大语言模型的北极星能力

本文首先介绍了大型语言模型在构建下一代计算平台 / 操作系统中的潜力，并讨论了复杂推理是大型和小型语言模型的关键区别因素。

然后，作者分析了如何训练具有强大复杂推理能力的模型，包括预训练 / 持续训练、监督微调和强化学习等方法。接下来，作者讨论了复杂推理的提示工程技术，并强调了在语言模型成为新一代操作系统内核时，提示工程 / 场景学习将成为新一代脚本编程。

最后，作者介绍了 Chain-of-thought Hub，一个包含 100 多个推理任务的数据集合，用于评估大型和小型模型的差异，并重点介绍了 LLaMA 65B 的出色表现。