Supervised Fine-Tuning 监督微调 微调的一种方式,用标签数据对模型做参数调整,使其适应特定任务。 SFT 不是明确的算法,而是微调的方法论。 执行过程 SFT 的执行需要三种“原材料”:一个预训练模型、一组和应用相关的标签数据、选择一个微调算法。 微调算法根据调整参数的范围不同,可以分为: 全量微调:利用标签数据对预训练模型参数做全量微调 PEFT:部分微调,冻结绝大部分参数,仅优化少量的适配层。即保持预训练模型的绝大部份参数不变。 超参数调优:监控关键参数和过拟合的情况