Axolotl

Axolotl: тонкая настройка LLM через YAML (LoRA, DPO, GRPO).

Метаданные навыка

Справочник: полный SKILL.md

Axolotl Skill

Что входит в навык

Экспертная помощь при тонкой настройке LLM с Axolotl: YAML-конфиги, поддержка 100+ моделей, LoRA/QLoRA, DPO/KTO/ORPO/GRPO, мультимодальность.

Поддержка разработки на axolotl — на основе официальной документации.

Когда использовать этот навык

Навык срабатывает в следующих ситуациях:

• Работа с axolotl
• Вопросы о возможностях или API axolotl
• Реализация решений на axolotl
• Отладка кода axolotl
• Изучение лучших практик axolotl

Краткий справочник

Типовые паттерны

Паттерн 1: Чтобы убедиться в достаточной скорости передачи данных для задачи обучения, запустите NCCL Tests — они помогут найти узкие места. Например:

./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3

Паттерн 2: Настройте модель на использование FSDP в YAML-конфиге Axolotl. Например:

fsdp_version: 2
fsdp_config:
  offload_params: true
  state_dict_type: FULL_STATE_DICT
  auto_wrap_policy: TRANSFORMER_BASED_WRAP
  transformer_layer_cls_to_wrap: LlamaDecoderLayer
  reshard_after_forward: true

Паттерн 3: Значение context_parallel_size должно быть делителем общего числа GPU. Например:

context_parallel_size

Паттерн 4: Пример: при 8 GPU без sequence parallelism за шаг обрабатывается 8 разных батчей; при 8 GPU и context_parallel_size=4 — только 2 разных батча (каждый разбивается на 4 GPU); если micro_batch_size на GPU равен 2, глобальный batch size уменьшается с 16 до 4.

context_parallel_size=4

Паттерн 5: Параметр save_compressed: true в конфигурации включает сохранение модели в сжатом формате — это сокращает использование диска примерно на 40%, при этом сохраняется совместимость с vLLM для ускоренного инференса и с llmcompressor для дальнейшей оптимизации (например, квантизации).

save_compressed: true

Паттерн 6: Интеграцию необязательно размещать в папке integrations — она может находиться в любом месте, если установлена как пакет в вашем Python-окружении. Пример репозитория: https://github.com/axolotl-ai-cloud/diff-transformer

integrations

Паттерн 7: Обрабатывайте как одиночные примеры, так и батчевые данные. Одиночный пример: sample['input_ids'] — это list[int]; батч: sample['input_ids'] — это list[list[int]].

utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)

Примеры кода

Пример 1 (python):

cli.cloud.modal_.ModalCloud(config, app=None)

Пример 2 (python):

cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)

Пример 3 (python):

core.trainers.base.AxolotlTrainer(
    *_args,
    bench_data_collator=None,
    eval_data_collator=None,
    dataset_tags=None,
    **kwargs,
)

Пример 4 (python):

core.trainers.base.AxolotlTrainer.log(logs, start_time=None)

Пример 5 (python):

prompt_strategies.input_output.RawInputOutputPrompter()

Справочные файлы

В навык включена подробная документация в папке references/:

• api.md — документация по API
• dataset-formats.md — документация по форматам датасетов
• other.md — прочая документация

Используйте view для чтения конкретных справочных файлов, когда нужна детальная информация.

Работа с навыком

Для начинающих

Начните со справочных файлов getting_started или tutorials — там изложены базовые концепции.

По конкретным возможностям

Используйте соответствующий категорийный справочный файл (api, guides и т.д.) для детальной информации.

По примерам кода

Типовые паттерны из официальной документации собраны в разделе краткого справочника выше.

Ресурсы

references/

Структурированная документация из официальных источников. Файлы содержат:

• Подробные пояснения
• Примеры кода с разметкой языка
• Ссылки на исходную документацию
• Оглавление для быстрой навигации

scripts/

Сюда добавляйте вспомогательные скрипты для типовых задач автоматизации.

assets/

Сюда добавляйте шаблоны, заготовки или примеры проектов.

Примечания

• Навык сгенерирован автоматически из официальной документации
• Справочные файлы сохраняют структуру и примеры из исходных материалов
• Примеры кода включают определение языка для корректной подсветки синтаксиса
• Паттерны краткого справочника извлечены из типичных примеров использования в документации

Обновление

Чтобы обновить навык до актуальной документации:

1. Запустите парсер с той же конфигурацией повторно
2. Навык будет пересобран с последними данными