本指南覆盖 微调 的完整流程，从数据准备到模型部署。微调是将通用 LLM 适配到特定领域或任务的关键技术。

数据准备

数据质量决定微调效果的上限。核心要求：

• 格式统一：通常使用对话格式（system/user/assistant），确保与目标模型的训练格式一致
• 质量优先：500 条高质量样本远胜 5000 条低质量样本。每条数据应经过人工审核
• 多样性：覆盖目标任务的各类场景和输入分布，避免数据偏斜导致模型偏向某种回答模式
• 去重：去除重复或高度相似的样本，防止模型过拟合

微调是指在预训练模型的基础上，使用特定领域或任务的数据继续训练模型参数，使模型适应下游需求的过程。它是 concepts/llm-training-pipeline 中连接预训练与实际应用的关键环节。

全量微调 vs 参数高效微调

全量微调（Full Fine-Tuning） 更新模型的所有参数。效果通常最好，但显存需求极高（需要存储完整模型梯度和优化器状态），对于 70B+ 参数的大模型，实际部署成本往往不可承受。