FineTurnX

FineTuneX - 大模型微调框架

一个简单易用的大语言模型微调框架，支持 Qwen、Llama、Baichuan 等主流模型。

特性

• 🚀 支持 LoRA、QLoRA 等高效微调方法
• 📊 内置数据预处理和格式化工具
• 🎯 支持多种任务类型：指令微调、对话微调、文本生成等
• 🖥️ 提供 Web UI 和 API 接口
• 📈 完整的训练监控和评估系统

快速开始

安装依赖

pip install -r requirements.txt

运行微调示例

python examples/qwen3.5_0.8b_finetune.py

项目结构

FineTuneX/
├── src/
│   ├── finetunex/
│   │   ├── __init__.py
│   │   ├── models/          # 模型加载和配置
│   │   ├── data/            # 数据处理
│   │   ├── trainers/        # 训练器
│   │   ├── configs/         # 配置文件
│   │   └── utils/           # 工具函数
│   └── api/                 # API 服务
├── examples/                # 示例脚本
├── configs/                 # 配置文件
├── data/                    # 数据目录
└── outputs/                 # 输出目录

使用示例

1. 准备数据

from finetunex.data import load_dataset

dataset = load_dataset("your_dataset.json")

2. 配置模型

from finetunex.models import QwenConfig

config = QwenConfig(
    model_name="Qwen/Qwen3.5-0.5B",
    lora_r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
)

3. 开始训练

from finetunex.trainer import FineTuneTrainer

trainer = FineTuneTrainer(config)
trainer.train(dataset)

支持的模型

• Qwen/Qwen3.5-0.5B
• Qwen/Qwen2.5-0.5B
• meta-llama/Llama-3.2-1B
• baichuan-inc/Baichuan2-7B

License

MIT License