架構決策
在小型代表性数据集上测试调优方法。将模型评估与训练损失分开。
GLOBALATLAS AI · 微調
微調
微調是對預訓練模型的調整。完整微調與參數高效方法的記憶體需求不同。
選擇將更新的內容
- 01
完整微調或高效參數方法
- 02
序列长度、批次和数值精度
- 03
評估集與版本化檢查點
配置需求
指定方法、精度、序列长度和批次大小。将训练数据和检查点存储在持久存储中。
GLOBALATLAS AI · 微調
微調是對預訓練模型的調整。完整微調與參數高效方法的記憶體需求不同。
完整微調或高效參數方法
序列长度、批次和数值精度
評估集與版本化檢查點
在小型代表性数据集上测试调优方法。将模型评估与训练损失分开。
指定方法、精度、序列长度和批次大小。将训练数据和检查点存储在持久存储中。