微调是指在预训练模型的基础上，使用特定领域或任务的数据继续训练模型参数，使模型适应下游需求的过程。它是 concepts/llm-training-pipeline 中连接预训练与实际应用的关键环节。

全量微调 vs 参数高效微调

全量微调（Full Fine-Tuning） 更新模型的所有参数。效果通常最好，但显存需求极高（需要存储完整模型梯度和优化器状态），对于 70B+ 参数的大模型，实际部署成本往往不可承受。