了解微调

学习目标

完成本单元后，您将能够：

此徽章包含自然语言处理基础知识、大语言模型和提示基础知识徽章中介绍的术语和想法。我们建议您先获得那两个徽章。

大语言模型 (LLM)（如 OpenAI 的 GPT 系列模型）是经过训练的大规模神经网络，可以理解和生成类似人类的文本。他们接受过大量数据的训练，因此他们拥有广泛的通用知识库。

微调是采用一个广泛且通用的预训练语言模型，在较小的特定数据集上进一步训练（或“调整”）该模型的过程。对于 LLM 来说，这意味着将通用基础模型转换为特定用例的专用模型。这有助于模型在特定任务中变得更加专业化。微调会添加到预训练模型中，并修改其权重以提高性能。

换言之...假设您有一个数字助理，几乎可以很好地烹饪任何菜肴。虽然它可以制作任何基础菜肴，但您正在寻找一道令人惊叹的意大利菜，就像您记忆中在威尼斯旅行时吃到的那样。它应该掌握意大利美食的细微差别。要做到这一点，您应让它接触更多的意大利食谱和技术，完善现有的技能。这与微调的过程类似。

小样本学习是一种在提示中使用少量特定于任务的示例的微调类型，使模型能够在任务上表现得更好。我们已经可以通过提示设计和基础 LLM 做到这一点。我们会在提示中包含说明，有时还会包含几个示例。从某种意义上说，使用与任务相关的小型数据集预先输入提示。

微调通过训练比提示中可容纳的更大示例集来改进小样本学习。这种扩展训练可以在特定任务上获得更好的表现。对模型进行微调后，无需提供和提示中同样多的示例。这样可以节省成本，并加快请求和响应速度。

让我们来看看一些微调 LLM 的必要步骤。

第一步是选择一个代表您感兴趣的特定任务的数据集。该数据集通常比用于初始训练的数据集小得多。关注这些主要领域。

所选数据集应与目标的特定任务或域保持一致。例如，如果要根据患者笔记调整医疗诊断模型，则数据集应包含相关的临床笔记及其相应的诊断。
数据质量一如既往地对专业数据非常重要。这通常需要一个更小、更集中的数据集。但是，必须有足够的数据来捕获特定任务的细微差别。充满错误或不相关信息的嘈杂数据可能会阻碍微调过程。预处理和清理数据至关重要。

虽然微调模型的核心架构保持不变，但某些超参数（如学习速率）可能会有所调整，以适应新数据集的细微差别。

您可继续在新数据集上训练预训练模型，无需从头开始训练。由于模型已经学习了很多常识，因此它可以快速从新数据集中获取细节。

为了防止模型过于适应新数据集（一种称为过拟合的现象），可以采用暂退法或权重衰减等技术。

微调是一种强大的工具，可以使大型通用模型适应特定任务。然而，与任何工具一样，它的成功取决于所使用的技术和应用过程中的注意事项。下一个单元介绍您可能想要微调 LLM 的原因。