使用微调提高性能
学习目标
完成本单元后，您将能够：
- 列出微调的优势。
- 解释微调的挑战。
- 介绍何时使用微调。
为什么微调？
较小的、经过微调的模型在训练任务集上通常可以胜过较大且更昂贵的模型。它们还可以提高基本模型的性能。以下是一些使用微调的优势。
特定于任务的专业知识
使用专业词汇
LLM 从他们的预训练中获得了广泛的词汇量。但是，专业任务通常具有独特的术语和行话。微调引入并强化了这些词汇，确保模型理解并适当地使用词汇。
考虑用于根据医学记录诊断疾病的 LLM。与缺乏所需医学知识的基本模型相比，该 LLM 使用医学数据进行了微调，使得性能更加卓越。因此，在处理专业字段、敏感数据或常规训练数据中未详尽描述的独特信息时，微调变得必不可少。
利用情境理解
一般模型可能在特定主题中缺乏深度。通过对特定任务的内容进行微调，模型可以更深入、更细致地理解主题，从而做出更准确、更有洞察力的响应。
成本效益
提高计算储蓄
从头开始训练 GPT-4 范围中的模型需要大量的计算资源和时间。通过利用预训练模型并对其进行微调，您可以有效地重用在预训练阶段完成的大部分计算，从而节约时间和资源。
提高数据效率
与从头开始训练相比，微调需要的数据集通常更小。这一点至关重要，尤其是在收集大量数据具有挑战性或成本高昂的独特任务中。
自定义和灵活性
针对特定应用进行定制
每个业务或应用程序可能都有独特的要求。微调允许自定义，确保模型与特定用例保持一致，例如生成个性化的营销内容或了解用户在其平台上生成的内容。
提高数据敏感度和合规性
处理敏感数据或在严格的监管环境中运营的企业可能需要对模型进行微调，以确保其尊重隐私要求、遵守内容准则并生成符合行业法规的合适响应。
适应语气和风格
如果一家公司希望模型以特定的语气（例如正式、俏皮或善解人意）进行沟通，那么用这种语气对数据进行微调可以实现这一点。
改善用户体验
在以下应用中，微调模型可以通过生成更准确、相关度更高和上下文感知的响应来提供更好的用户体验，从而提高客户满意度：
- 聊天机器人
- 虚拟助理
- 客户支持系统
道德和安全注意事项
消除偏见
当发现模型的一般行为或输出存在偏差或问题时，对精选数据集进行微调有助于减少此类偏差。
过滤不需要的输出
对于不需要某些输出的应用，例如儿童友好型应用，微调可以帮助优化模型输出，使其保持在安全范围内。
排除敏感数据
创建数据集时要小心，不要包含敏感数据。尽管这样可能会有更好的结果，但会暴露使用方式不当或使用情形不对的数据。
持续改进
迭代反馈循环
部署后，可以收集用户与模型的交互（同时尊重隐私规范）并用作反馈。基于此反馈的定期微调可确保模型与用户需求保持一致并不断改进。
竞争优势
实现差异化
在多个实体可能使用相似基础模型的市场中，微调提供了一种脱颖而出的方法，创建独特的模型变体，可能更适合特定的客户或任务。
何时使用微调？
微调 LLM 的决定取决于几个因素，包括您的特定用例、相关成本和所需的领域特异性级别。
对于回答问题或总结文档等常规任务，GPT-3.5 等预训练模型（可通过 API 轻松获得）会产生令人满意的结果。此外，利用这些 API 是一种经济高效的解决方案。
但是，对于涉及大量数据处理或需要特定专业知识水平的任务，微调可能才是正确的选择。微调使模型能够根据特定领域的专业知识理解和生成文本，从而显著提高输出质量。
挑战和注意事项
如果微调果真这么好，为什么不是每个 LLM 都针对您能想到的每个专业进行微调呢？因为微调涉及很多过程和标准。以下是一些应该考虑的缺点。
过度拟合
微调的一个主要问题是，当模型在小型数据集上训练得太紧密时，它可能在该数据集上表现得非常好，但在看不见的数据上表现不佳。
突然遗忘
不正确的微调可能会导致模型“忘记”其以前的一些常规知识，从而降低其在专业领域之外的有效性。
数据集偏差
如果微调数据集包含偏差，这些偏差可以传递给模型。这会导致模型学习相同的不准确和偏差。偏差可能来自不同的来源，例如选择、抽样、标签或历史偏差。
- 选择偏差：选择用于微调的数据并不代表问题空间的全部多样性。
- 抽样偏差：数据的收集方式是目标人群中的某些成员比其他成员更不可能包括在内。
- 标签偏差：微调数据集中提供的注释或标签受主观意见或刻板印象的影响。
- 历史偏差：数据反映了历史或社会不平等，这些不平等本质上是不公平或有问题的。
超参数选择
微调时使用的错误超参数设置可能会影响模型的性能，甚至导致无法训练。
总结
微调不仅仅是让模型“工作”用于特定任务；还涉及优化性能、确保相关性、实现成本效益以及出于功能和道德原因定制输出。以下是微调时需要考虑的主要因素。
- 您的任务需要专业知识吗？
- 您有专门的数据集进行微调吗？
- 您有资源、时间和计算能力吗？
资源