图｜arXiv论文截图

△

但是，要深入理解这类模型，我们首先需要了解其如何工作的基本原理。在本节中，我们将概述这些观点，试图提供对 LLM 的（相对）全面理解。

▩语言建模目标

△

“以语言建模为目标的预训练”

语言建模的核心是下一个标记（token）预测（也称为标准语言建模目标），几乎所有的语言模型都用它来训练。要使用下一个标记预测来训练语言模型，我们需要一个大型的原始文本语料库。使用该语料库，我们可以通过以下方式训练模型：i) 从数据集中抽取一些文本；ii) 训练模型预测下一个单词；见上图。由于下一个标记的基本事实总是可以从原始文本中推导出来，因此下一个标记预测是一种自监督学习。

什么是标记｜我们可以粗略地将下一个标记预测看作是根据前面的几个词作为上下文预测序列中的下一个词。然而，这种类比并不完美，因为标记和单词并不完全等同。当语言模型接收到文本作为输入时，首先要对原始文本进行标记化（ tokenized）（见注释2） （即转换成一连串离散的单词或词根）；见下图。

△

与语言模型相关联的标记符号生成器通常有一个固定大小的词汇表，或一组可从文本序列中创建的可行标记符号。

预测下一个标记｜一旦创建了标记序列，语言模型就会有一个嵌入层，为标记化词库中的每个标记存储唯一的可学习向量嵌入。利用该嵌入层，我们可以将输入序列中的每个标记转换为相应的向量嵌入，从而形成一个标记向量序列；见下图。

△

在为每个标记添加位置嵌入后，我们就可以将这一系列标记向量传递到decoder-only transformer中（后面会有更多解释），该transformer会变换（不是双关语）每个标记向量，并为每个标记生成相应的输出向量。值得注意的是，输出向量的数量与输入向量的数量相同；见下文。

△

现在我们有了每个标记的输出表示，就可以进行下一个标记预测了！对于序列中的每个标记，我们只需获取其输出标记向量，并以此预测序列中的下一个标记！下图展示了这一过程。在实践中，为了最大限度地提高效率，我们会同时对序列中的所有标记（以及mini-batch中的所有序列！）计算下一个标记预测目标。

△

由于使用了因果（或掩蔽masked）self-attention，每个输出标记向量在计算其表示时，只考虑当前标记和序列中在它之前的标记。如果我们使用双向self-attention，每个输出标记向量将通过查看整个向量序列来计算，这将允许模型作弊，通过复制序列中下一个标记来解决下一个标记预测问题。因此，下一个标记预测需要掩蔽（masked）self-attention。但是，什么是self-attention，更根本的是什么是transformer？让我们接下来深入探讨一下。

简要说明｜语言模型 "这一短语有时会用来指专门进行下一个标记预测的模型之外的其他模型。例如，有些人认为 BERT [18] 是一种 "语言模型"，但它是使用 Cloze 风格目标进行训练的，并不是一种生成模型。因此，专门从事下一个标记预测的语言模型通常被区分为 "因果 "语言模型。在这里，我们将交替使用这两个术语来指专门从事下一个标记预测的模型。

△

所有语言模型都使用Transformer架构的某种变体。这种架构（如上图所示）最初是在 [17] 中提出的，用于解决序列到序列任务（见注释3）。不过，它后来被扩展用于解决各种不同的问题，从评估文本的语义相似性到图像分类。Transformer架构的最初形式有两个组成部分：

• 编码器Encoder：每个区块执行双向自注意和点式前馈变换（见注释4），并通过残差连接（见注释5） 和层规范（LayerNorm）将其分开。
• 解码器Decoder：每个区块执行因果自注意、交叉注意（即跨编码器和解码器标记的自注意）和点前馈变换，每个区块由残差连接和 LayerNorm 分隔。

当架构的两个组成部分都存在时，编码器处理输入序列并生成输出序列。然后，解码器将编码器的输出序列作为输入，生成自己的输出序列。换句话说，编码器处理整个输入序列，形成解码器在生成输出时用作上下文的表示。总的来说，Transformer将一个序列作为输入，并产生一个新的序列作为输出。

△

Decoder-only和Encoder-only Transformer｜几乎所有的因果语言模型都使用Decoder-only Transformer作为底层架构，这只是一个去除了编码器部分的普通变换器；见上图。此外，由于缺少编码器，每个解码器模块的交叉注意部分也被移除（也就是说，我们无法对一个不存在的编码器产生注意力）！或者，我们也可以只使用编码器部分来组建一个纯编码器架构。纯编码器架构（如 BERT [18]）在解决各种辨别性自然语言任务方面表现出色，但它们不能用于生成文本。要了解更多信息，请查看下面的链接。

为什么使用解码器｜在 LLM 中选择使用纯解码器架构（而不是纯编码器或完整的编码器-解码器转换器）并不是任意的。相反，这种选择是由使用下一个标记预测来训练语言模型所驱动的。在解码器中使用掩蔽自注意力机制，可以确保模型在预测下一个标记时，不能在序列中向前看。否则，下一个标记预测将变得微不足道，因为模型可以简单地复制下一个标记；见下图。

△

为了在不作弊的情况下进行下一个标记预测，纯编码器转换器和编码器-解码器Transformer都必须避免在其输入序列中包含任何地面真实下一个标记。为此，我们可以 i) 接收一个前缀，ii) 预测该前缀后面的标记。然而，这种方法效率有点低，因为我们一次只能预测一个下一个标记。相比之下，纯解码器模型由于使用了掩码自注意，因此可以摄取整个标记序列，并对序列中的每个标记应用语言建模目标。此外，多篇论文[12]已经实际表明，纯解码器架构在下一个标记预测方面性能最佳。

我们如何生成文本｜鉴于上述纯解码器的架构，文本的生成遵循一个简单的自回归（注释6） 过程。我们只需不断预测下一个标记，将该标记添加到输入中，然后重复；见下图。

△

▩训练与使用语言模型

为了完成对语言模型的理解，我们需要快速探索这些模型通常是如何训练和实际使用的。尽管在这一领域已经开展了大量研究，但大多数语言模型都是按照 [19] 中提出的几种标准技术进行训练的；见下图。

△

语言模型的学习方式多种多样。在这里，我们将重点讨论预训练、对齐和上下文学习，它们共同包含了训练 LLM 并将其用于实际应用所需的大部分内容。

预训练｜预训练过程是创建 LLM 的第一步，也是计算量最大的一步。从随机初始化的 LLM 开始，我们必须使用语言建模目标，在从各种不同来源收集的大量原始文本语料库上训练这个模型。先前的研究[1]已经向我们表明，通过在大型数据集上预训练一个非常大的模型（即大量参数），我们可以获得一个基础模型，该模型可以通过执行下一个标记预测来准确解决各种不同的任务。为了获得最佳效果，我们需要在数据和模型规模两方面进行扩展。

我们还需要什么？只进行预训练的语言模型可能非常强大。请看 GPT-3 [1] 和 Chinchilla [15] 的几个例子。不过，在 ChatGPT 等模型提出之前，LLM 并没有大受欢迎，这是有原因的--仅仅进行下一个标记预测并不有趣。通常情况下，预测统计上正确的下一个标记虽然能生成合理的文本，但产生的输出是重复的、简单的，通常没有什么帮助。我们需要一些方法，让 LLM 制作出对我们人类更有帮助、更有趣的输出！

△

对齐是指对 LLM 进行微调，使其更好地符合人类用户的愿望的过程。这主要通过两种技术来实现：监督微调（SFT）和/或人类反馈强化学习（RLHF）。LLM 的预期行为在很大程度上取决于其部署的环境或应用。不过，对齐是一种通用工具，可用于对 LLM 进行任意微调，使其按某种方式运行；见上图。最新研究表明，模型在对齐过程中不会学习新信息。相反，这个过程只是教会模型如何正确地格式化或呈现它在预训练过程中已经获得的知识。

在实践中使用 LLM｜在对语言模型进行预训练和微调（或对齐）后，最后一步就是将模型专门化，以适应我们所需的应用。这一过程可能需要对特定领域的数据进行额外的微调。不过，并不总是有必要进行更多的训练，因为我们只需使用上下文学习就能完成很多工作；请参阅下图。

△

简单地说，上下文学习（in-context learning）指的是使用单一的通用基础模型（如预先训练好的 LLM）来解决各种不同的问题。考虑到语言模型的通用文本到文本结构，这实际上很容易做到。我们只需要构建一个文本问题解决提示，作为 LLM 的输入即可；见下图。

△

然后，LLM 将生成问题的答案作为输出。因此，我们只需修改输入提示，就能解决许多不同的问题！为解决问题构建良好提示的过程被称为 "提示工程"，我们在之前的文章中对这一理念进行了广泛的探讨：

• 实用提示工程 [参见题记E02S01］

• 高级提示工程 [参见题记E03S01］

△

• RoPE 嵌入

• 并行注意力层和前馈层

△

△

△

△

OPT 是由 Meta AI（见注释7）提出的，其创建目的是为了让公众能够更方便地使用功能强大的 LLM，它由多个不同的 LLM 组成，参数大小从 1.25 亿到 1750 亿不等。这些模型是在 Reddit、the Pile 和 BooksCorpus 等来源的数据集上预先训练的，其中最大的模型--OPT-175B--是首批真正开源的大型语言模型之一。此外，这些模型还配有代码库，甚至还有一本日志，详细记录了所有模型的预训练过程。尽管 OPT 模型不能用于商业用途，但它们是一种令人难以置信的资源，对用于研究的 LLM 的开放性产生了重大影响。

影响｜OPT 语言模型是向研究界提供大规模语言模型的首次大规模努力，现在任何人都可以完全使用 LLM，而不是隐藏在 API 之后。此外，OPT 的开源训练代码利用 FSDP 和张量并行等常用技术，提供了一个高效的训练框架。该代码的资源利用率比英伟达直接发布的研究成果高出 17%[3]，是训练 LLM 的绝佳资源。

△

与 OPT 相关的培训笔记和日志为了解 LLM 培训过程提供了大量（以前未知的）信息。从这些资源中，我们可以更好地了解训练 LLM 的全部成本，以及在这一过程中可能出现的诸多困难（例如，损失高峰、硬件故障和其他需要进行的 "飞行中途 "训练调整）。训练 LLM 的这些困难成为了人们谈论的话题，并在随后的开源 LLM 工作中得到了（大部分）解决；见上图。

△

性能是否良好？｜在提出 OPT-175B 模型时，我们曾将其与流行模型进行了广泛比较，发现其在零学习和少量学习环境下的性能与 GPT-3 相当；见上图。总体而言，OPT 的性能并不突出--人们普遍认为该模型在质量方面落后于专有模型。不过，尽管 OPT 的表现乏善可陈，但它却是人工智能研究的一大进步，极大地提升了人们对开源 LLM 的兴趣。这种影响不应被低估，因为它出现时，专有模型的主导地位已被接受为一种新标准。

▩BLOOM：开放式多语言语言模型 [12] 

[https://bigscience.huggingface.co/blog/bloom]

BLOOM 是在 [12] 中提出的一个 1760 亿参数的 LLM，它是人工智能研究人员大规模开放式合作（即有 1000 多名研究人员参与！）的一部分，名为 "大科学研究研讨会"（Big Science Research Workshop）。该研讨会历时一年（2021 年 5 月至 2022 年 5 月），其目标是创建 i) 大规模多语言文本数据集和 ii) 基于该数据集训练的大型多语言语言模型。该模型的规模略大于 GPT-3，并根据负责任的人工智能许可证（RAIL）开源，可生成 46 种不同语言（见注释8）和 13 种编程语言的文本。

语料库｜为训练 BLOOM 而开发的数据集称为 ROOTS 语料库，由 498 个 HuggingFace 数据集组成，包含超过 1.6 TB 的文本，跨越 46 种自然语言和 13 种编程语言。该数据集在不同语言中的分布如下图所示。

△

在获得原始数据后，作者会使用不同质量的过滤器来去除非自然语言文本。所使用的具体过滤组件（详见 [12] 第 3.1.3 节）会根据数据源的不同而有所变化。不过，整个流程都有一个共同的目标，那就是尽可能多地过滤掉低质量文本。

△

架构｜BLOOM 采用的结构是标准的Decoder-only Transformer。不过，如上图所示，该架构做了一些修改，例如

• ALiBi [13]：这有助于模型泛化到比训练时更长的上下文长度。链接
• 嵌入层规范：在模型的嵌入层之后放置一个额外的层规范，根据经验，这可以提高训练的稳定性。

总的来说，该模型与大多数 LLM 没有太大区别。有趣的是，[12] 中的作者对不同类型的Transformer架构（如纯编码器模型、编码器-解码器模型和纯解码器模型）进行了广泛的分析，发现纯解码器模型（几乎所有因果语言模型都使用）在预训练后达到了最佳性能。

它的性能好吗？与其他开源 LLM 相比，BLOOM 的表现相对较好。在自然语言基准测试中，它取得了与 OPT 相当甚至更好的成绩，而且由于它是在多语言语料库中训练出来的，因此在机器翻译任务中往往表现出色；见下图。

△

然而，BLOOM 的性能低于顶级专有模型。例如，我们在 HumanEval 基准测试结果（如下图所示）中看到，该模型的编码能力远远不及 Codex [14]等其他模型。此外，当我们将 BLOOM 的性能与 Chinchilla [15] 和 PaLM [9] 等模型进行比较时，我们很快就会发现开源模型的性能不及专有模型。换句话说，在提出 BLOOM 时，开源 LLM 的研究仍处于落后状态。

△

▩其他有名气的模型

我们试图涵盖开源 LLM 研究早期提出的几个著名模型。但是，本概述中还有一些未涉及的模型值得一提。让我们快速浏览一下其中的几种。

GPT-J [21]｜ 是在 GPT-NeoX-20B [6] 之前提出的一个 60 亿参数的纯英语因果语言模型。与 GPT-NeoX-20B 类似，该模型也在 Pile 上进行了预训练。在发布时，GPT-J-6B 是公开可用的最大的 GPT-3 风格语言模型。

△

GLM [20] ｜更像是一个预训练目标，而不是一个语言模型。这项工作通过提出自回归空白填充目标，探索了统一不同预训练技术（如来自 BERT、T5 和 GPT 的技术）的想法。换句话说，我们以自回归的方式预测句子中的掩蔽词，类似于语言模型；见上图。由此产生的模型非常小（参数小于 10 亿），在几个流行的自然语言处理基准测试中，其性能优于 BERT、T5 和 GPT。

△

鉴于开源 LLM 最初的尝试所产生的模型性能远不如专有模型，我们有理由想知道：我们应该怎么做才能让这些模型变得更好？随着这一研究领域的发展，我们看到人们在两个主要领域投入了大量精力：

• 创建更好的基础 LLM（见注释9）

• 微调开源 LLM（即对齐和模仿）

鉴于开源 LLM 对每个人都开放，这些领域的研究进展令人震惊--从 OPT 到接近最先进的模型（如 LLaMA-2 或 Falcon-40B [10]），我们只用了不到一年的时间！

在本文我们同时探索了上述两个研究方向，每个方向都为人工智能从业人员开发了有用的技术。在本综述报告的后两部分中，我们将分别概述这两个领域及其各自的主要贡献，探讨最初的开源 LLM 尝试是如何发展成为 LLaMA-2 这样能力超强的模型的。

[1] Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877-1901.

[2] Rae, Jack W., et al. "Scaling language models: Methods, analysis & insights from training gopher." arXiv preprint arXiv:2112.11446 (2021).

[3] Smith, Shaden, et al. "Using deepspeed and megatron to train megatron-turing nlg 530b, a large-scale generative language model." arXiv preprint arXiv:2201.11990 (2022).

[4] Zhang, Susan, et al. “OPT: Open Pre-trained Transformer Language Models.” arXiv preprint arXiv:2205.01068 (2022).

[5] “Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable Llms.” MosaicML, 5 May 2023, www.mosaicml.com/blog/mpt-7b.

[6] Black, Sid, et al. "Gpt-neox-20b: An open-source autoregressive language model." arXiv preprint arXiv:2204.06745 (2022).

[7] Gao, Leo, et al. "The pile: An 800gb dataset of diverse text for language modeling." arXiv preprint arXiv:2101.00027 (2020).

[8] Su, Jianlin, et al. "Roformer: Enhanced transformer with rotary position embedding." arXiv preprint arXiv:2104.09864 (2021).

[9] Chowdhery, Aakanksha, et al. "Palm: Scaling language modeling with pathways." arXiv preprint arXiv:2204.02311 (2022).

[10] “Introducing Falcon LLM”, Technology Innovation Institute, 7 June 2023, https://falconllm.tii.ae/.

[11] Radford, Alec, et al. "Language Models are Unsupervised Multitask Learners."

[12] Scao, Teven Le, et al. "Bloom: A 176b-parameter open-access multilingual language model." arXiv preprint arXiv:2211.05100 (2022).

[13] Press, Ofir, Noah A. Smith, and Mike Lewis. "Train short, test long: Attention with linear biases enables input length extrapolation." arXiv preprint arXiv:2108.12409 (2021).

[14] Chen, Mark, et al. "Evaluating large language models trained on code." arXiv preprint arXiv:2107.03374 (2021).

[15] Hoffmann, Jordan, et al. "Training compute-optimal large language models." arXiv preprint arXiv:2203.15556 (2022).

[16] Gudibande, Arnav, et al. "The false promise of imitating proprietary llms." arXiv preprint arXiv:2305.15717 (2023).

[17] Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).

[18] Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).

[19] Ouyang, Long, et al. "Training language models to follow instructions with human feedback." Advances in Neural Information Processing Systems 35 (2022): 27730-27744.

[20] Du, Zhengxiao, et al. "Glm: General language model pretraining with autoregressive blank infilling." arXiv preprint arXiv:2103.10360 (2021).

[21] Ben Wang and Aran Komatsuzaki. GPT-J-6B: A 6 billion parameter autoregressive language model, 2021.

[22] Sid Black, Leo Gao, Phil Wang, Connor Leahy, and Stella Biderman. 2021. GPT-Neo: Large scale autoregressive language modeling with MeshTensorflow.

△

“AI范儿的A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”

说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。

-CAMERON R. WOLFE：The History of Open-Source LLMs: Early Days (Part One)

那些prompt了我的，

是否也prompt了你...