基本信息
模型选择
Qwen2.5-7BLLM
参数量: 7B
Qwen2.5-14BLLM
参数量: 14B
LLaMA-3-8BLLM
参数量: 8B
DeepSeek-Coder-7BLLM
参数量: 7B
Gemma-7BLLM
参数量: 7B
Qwen-VL-7BVLM
参数量: 7B
LLaVA-7BVLM
参数量: 7B
数据集配置
客服对话数据集
对话ShareGPT
数据量: 50,000 条
代码指令数据
指令Alpaca
数据量: 100,000 条
医疗问答数据
问答Alpaca
数据量: 30,000 条
法律文档数据
文档ShareGPT
数据量: 20,000 条
90%
训练参数
LoRA
低秩适应，显存占用小
QLoRA
4-bit量化LoRA，更省显存
全参数微调
效果最佳，显存需求大