# FineTuneX - 大模型微调框架

一个简单易用的大语言模型微调框架，支持 Qwen、Llama、Baichuan 等主流模型。

## 特性

- 🚀 支持 LoRA、QLoRA 等高效微调方法
- 📊 内置数据预处理和格式化工具
- 🎯 支持多种任务类型：指令微调、对话微调、文本生成等
- 🖥️ 提供 Web UI 和 API 接口
- 📈 完整的训练监控和评估系统

## 快速开始

### 安装依赖

```bash
pip install -r requirements.txt
```

### 运行微调示例

```bash
python examples/qwen3.5_0.8b_finetune.py
```

## 项目结构

```
FineTuneX/
├── src/
│   ├── finetunex/
│   │   ├── __init__.py
│   │   ├── models/          # 模型加载和配置
│   │   ├── data/            # 数据处理
│   │   ├── trainers/        # 训练器
│   │   ├── configs/         # 配置文件
│   │   └── utils/           # 工具函数
│   └── api/                 # API 服务
├── examples/                # 示例脚本
├── configs/                 # 配置文件
├── data/                    # 数据目录
└── outputs/                 # 输出目录
```

## 使用示例

### 1. 准备数据

```python
from finetunex.data import load_dataset

dataset = load_dataset("your_dataset.json")
```

### 2. 配置模型

```python
from finetunex.models import QwenConfig

config = QwenConfig(
    model_name="Qwen/Qwen3.5-0.5B",
    lora_r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
)
```

### 3. 开始训练

```python
from finetunex.trainer import FineTuneTrainer

trainer = FineTuneTrainer(config)
trainer.train(dataset)
```

## 支持的模型

- Qwen/Qwen3.5-0.5B
- Qwen/Qwen2.5-0.5B
- meta-llama/Llama-3.2-1B
- baichuan-inc/Baichuan2-7B

## License

MIT License