LLM-Dojo：开源大模型修炼道场，提供简洁易读的代码构建模型训练框架和RLHF框架，支持多种主流模型和强化学习方法

本文更新于: 2024年11月8日

APP喵前言：阿喵发现了一个超棒的开源项目，叫做LLM-Dojo。这里聚集了一群对大模型训练和RLHF框架感兴趣的小伙伴们。LLM-Dojo用简洁明了的代码，支持各种主流的大型语言模型，比如Qwen、Llama、GLM等，还有DPO、CPO、KTO、PPO等强化学习方法。无论是想学习还是想自己动手魔改实验，这里都是个不错的选择哦！

项目简介

LLM-Dojo是一个开源的大模型学习场所，提供简洁易读的代码构建模型训练框架和RLHF框架，支持多种主流模型和强化学习方法，旨在便于学习和实验。

截图

特色

1. SFT训练框架：支持Deepspeed多卡、Lora、QLora、全参等训练，自动适配chat template。
2. RLHF框架：包括知识蒸馏、DPO、RLOO、SimPO等强化学习方法，适配Deepspeed多卡及Lora。
3. 最新LLM tricks详解：持续更新大模型领域最新tricks介绍，包括新论文方法的复现。
4. 技术发文：提供从零实现DPO、SimPO代码，包括数据、loss、训练等部分的详细讲解。

项目地址

https://github.com/mst272/LLM-Dojo