Axolotl 微调框架

Axolotl：YAML 配置 LLM 微调（LoRA、DPO、GRPO）

Axolotl 微调技能

内容概述

使用 Axolotl 微调 LLM 的专家指导——YAML 配置、100+ 模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO、多模态支持。

基于官方文档生成的 Axolotl 开发全面支持。

使用场景

• 使用 Axolotl 进行工作
• 询问 Axolotl 功能或 API
• 实现 Axolotl 解决方案
• 调试 Axolotl 代码
• 学习 Axolotl 最佳实践

快速参考

常用模式

模式 1：为了验证训练任务存在可接受的数据传输速度，运行 NCCL 测试有助于定位瓶颈，例如：

./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3

模式 2：在 Axolotl YAML 中配置模型使用 FSDP。例如：

fsdp_version: 2
fsdp_config:
  offload_params: true
  state_dict_type: FULL_STATE_DICT
  auto_wrap_policy: TRANSFORMER_BASED_WRAP
  transformer_layer_cls_to_wrap: LlamaDecoderLayer
  reshard_after_forward: true

模式 3：context_parallel_size 应是 GPU 总数的因数。例如：

context_parallel_size

模式 4：例如：

• 8 块 GPU，无序列并行：每步处理 8 个不同批次
• 8 块 GPU，context_parallel_size=4：每步只处理 2 个不同批次（每个批次跨 4 块 GPU）
• 如果每 GPU micro_batch_size=2，全局 batch size 从 16 减少到 4

模式 5：在配置中设置 save_compressed: true 以压缩格式保存模型：

• 减少磁盘空间使用约 40%
• 保持与 vLLM 的兼容性，支持加速推理
• 保持与 llmcompressor 的兼容性，支持进一步优化（例如量化）

save_compressed: true

模式 6：集成不必放在 integrations 文件夹中，只要安装在 Python 环境中的包内即可。参见此仓库示例：https://github.com/axolotl-ai-cloud/diff-transformer

integrations

模式 7：同时处理单样本和批处理数据。

• 单样本：sample['input_ids'] 是 list[int]
• 批处理：sample['input_ids'] 是 list[list[int]]

utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)

代码模式示例

示例 1（Python）：

cli.cloud.modal_.ModalCloud(config, app=None)

示例 2（Python）：

cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)

示例 3（Python）：

core.trainers.base.AxolotlTrainer(
    *_args,
    bench_data_collator=None,
    eval_data_collator=None,
    dataset_tags=None,
    **kwargs,
)

示例 4（Python）：

core.trainers.base.AxolotlTrainer.log(logs, start_time=None)

示例 5（Python）：

prompt_strategies.input_output.RawInputOutputPrompter()

参考资料文件

此技能在 references/ 中包含全面文档：

• api.md — API 文档
• dataset-formats.md — 数据集格式文档
• other.md — 其他文档

需要详细信息时，使用 view 读取特定参考资料。

使用此技能

入门

从 getting_started 或 tutorials 参考文件开始学习基础概念。

特定功能

使用相应类别的参考文件（api、guides 等）获取详细信息。

代码示例

上方的快速参考部分包含从官方文档中提取的常用模式。

资源

references/

从官方来源整理的文档。这些文件包含：

• 详细解释
• 带语言标注的代码示例
• 原始文档链接
• 快速导航目录

scripts/

在此添加常用自动化任务的辅助脚本。

assets/

在此添加模板、样板或示例项目。

注意事项

• 此技能从官方文档自动生成
• 参考文件保留源文档的结构和示例
• 代码示例包含语言检测以获得更好的语法高亮
• 快速参考模式从文档中的常用示例提取

更新

用最新文档刷新此技能：

• 使用相同配置重新运行爬虫
• 技能将用最新信息重建