deepseek-llamafactory模型微调并转为gguf

0sSe1Ah

模型微调测试

基础设施配置

使用云计算平台

使用vscode进行配置

打开系统盘文件夹

llamafactory基础配置

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.gitroot@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# cd LLaMA-Factory/CITATION.cff  MANIFEST.in  README.md     assets  docker      examples        requirements.txt  setup.py  testsLICENSE       Makefile     README_zh.md  data    evaluation  pyproject.toml  scripts           srcroot@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/LLaMA-Factory# - 创建虚拟环境对应目录，数据盘可以被保留mkdir -p /root/autodl-tmp/conda/pkgs conda config --add pkgs_dirs /root/autodl-tmp/conda/pkgs mkdir -p /root/autodl-tmp/conda/envs conda config --add envs_dirs /root/autodl-tmp/conda/envs# - 创建 conda 虚拟环境(一定要 3.10 的 python 版本，不然和 LLaMA-Factory 不兼容)conda create -n llama-factory python=3.10root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/LLaMA-Factory# conda env list# conda environments:#llama-factory            /root/autodl-tmp/conda/envs/llama-factorybase                     /root/miniconda3root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/LLaMA-Factory# conda initsource /root/.bashrc conda activate llama-factorypip install -e ".[torch,metrics]"(llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/LLaMA-Factory# llamafactory-cli version----------------------------------------------------------| Welcome to LLaMA Factory, version 0.9.2.dev0           ||                                                        || Project page: https://github.com/hiyouga/LLaMA-Factory |----------------------------------------------------------(llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/LLaMA-Factory# llamafactory-cli webui
也没端口转发就这样打开了，这个vscode还挺方便，我也不知道啥原理
再开一个终端
(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# conda activate llama-factoy ry(llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# (llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# mkdir Hugging-Face(llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# export HF_ENDPOINT=https://hf-mirror.com(llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# export HF_HOME=/root/autodl-tmp/Hugging-Face(llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# (llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# pip install -U huggingface_hub(llama-factory) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B下载好大模型(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# du -sh Hugging-Face/3.4G    Hugging-Face/(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# pwd/root/autodl-tmp(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# lsHugging-Face  LLaMA-Factory  conda(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# 聊天测试



编写数据集

数据集定义
llama_factory - data - README_zh.md


训练模型


学习率：开车的油门，一脚油门会过终点，太少就很慢才达到终点(最优解)
训练轮数:太少会欠拟合(没有学到足够知识)太多会过拟合模型泛化能力下降，在训练数据表现很好但是新数据会很差
最大梯度范数:当梯度的值超过这个范围时会被截断，防止梯度爆炸现象，当成保险丝
最大样本数:每轮训练中最多使用的样本数。不设置，则拿整个数据集都去训练，但是十几万的时候就会特别多
计算类型:常见float32 float16 用float16会减少内存占用会速度快，但导致精度损失
截断长度:处理长文本时如果太长超过这个阈值的部分会被截断掉，避免内存溢出
批处理大小:由于内存限制，分批次处理
梯度累计:默认情况下模型会在每个 batch 处理完后进行一次更新一个参数，但你可以通过设置这个梯度累计，让他直到处理完多个小批次的数据后才进行一次更新
验证集比例:训练时数据会被分成训练集和验证集，80与20
学习率调节器:动态调节率，列如开车一开始加速，快到地方则降速

这些参数会导致过拟合

损失从2.7降低为0
损失曲线:降低太慢就加大学习率，如果学习结束还是下降趋势，还没到底就为欠拟合。降低太快降低学习率
检查点路径:保存的是模型在训练过程中的一个中间状态，包含了模型权重、训练过程中使用的配置（如学习率、批次大小）等信息，对LoRA来说，检查点包含了训练得到的 B 和 A 这两个低秩矩阵的权重

• 若微调效果不理想，你可以：
  
  
  
  • 使用更强的预训练模型
    
  • 增加数据量
    
  • 优化数据质量（数据清洗、数据增强等，可学习相关论文如何实现）
    
  • 调整训练参数，如学习率、训练轮数、优化器、批次大小等等
    
  
  

导出合并后的模型

• 为什么要合并：因为 LoRA 只是通过低秩矩阵调整原始模型的部分权重，而不直接修改原模型的权重。合并步骤将 LoRA 权重与原始模型权重融合生成一个完整的模型
  
• 先创建目录，用于存放导出后的模型
  

(base) root@autodl-container-10a44fbcf4-b07c334b:~# cd /root/autodl-tmp/(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# mkdir -p Models/deepseek-r1-1.5b-merged(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp#
部署模型

conda create -n fastApi python=3.10(base) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/Models/deepseek-r1-1.5b-merged# conda activate fastApi(fastApi) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/Models/deepseek-r1-1.5b-merged# conda install -c conda-forge fastapi uvicorn transformers pytorchpip install safetensors sentencepiece protobuf(fastApi) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# mkdir App(fastApi) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp# cd App/(fastApi) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/App# touch main.py(fastApi) root@autodl-container-10a44fbcf4-b07c334b:~/autodl-tmp/App# from fastapi import FastAPIfrom transformers import AutoModelForCausalLM, AutoTokenizerimport torchapp = FastAPI()# 模型路径model_path = "/root/autodl-tmp/Models/deepseek-r1-1.5b-merged"# 加载 tokenizer （分词器）tokenizer = AutoTokenizer.from_pretrained(model_path)### 分词器十分重要自动加载模型匹配分词器# 加载模型并移动到可用设备（GPU/CPU）device = "cuda" if torch.cuda.is_available() else "cpu"model = AutoModelForCausalLM.from_pretrained(model_path).to(device)@app.get("/generate")async def generate_text(prompt: str):    # 使用 tokenizer 编码输入的 prompt    inputs = tokenizer(prompt, return_tensors="pt").to(device)        # 使用模型生成文本    outputs = model.generate(inputs["input_ids"], max_length=150)        # 解码生成的输出    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)        return {"generated_text": generated_text}python -m uvicorn main:app --reload --host 0.0.0.0
训练的过拟合了
python3 /root/llama.cpp/convert_hf_to_gguf.py    /mnt/c/Users/DK/Desktop/投喂的资料/deepseek-r1-1.5b-merged --outfile /root/test.gguf --outtype f16modelfile文件已经被llamafactory定义PS C:\Users\DK\Desktop\投喂的资料\deepseek-r1-1.5b-merged> ollama create haimianbbgathering model componentscopying file sha256:a998574673a76c152a2aabce1ab7eaf0c307990dc6c0badd964617afb9d79652 100%copying file sha256:8dd737d110cceb8396782d1b0c9196655a4a78fee4de35f056b22d1f9e96bf96 100%copying file sha256:59cda48bbe8bab9d61ffb410e6e3c07b6d98bff73cee7c88ff8b51f95f21ab1c 100%copying file sha256:e20ddafc659ba90242154b55275402edeca0715e5dbb30f56815a4ce081f4893 100%copying file sha256:6ce236e90057bbc36feee740e52666fc58103659d82063fc5ddb1355551e8148 100%copying file sha256:b0e8dce267611e5e03ebf2cd16a8c3821bbfcad441415dd6875173788f518a56 100%converting modelcreating new layer sha256:ac67fabf626c9acf8fbfbc2b6391a8e1d9d1f4ed7f93e340627df1eb421ba7dfcreating new layer sha256:741e943dbd4c7642ec2e10b275b4cc1a154d97550dce8a6288e1edf56bec5e8fcreating new layer sha256:b2ad9c47ff5fee622d61048a4fe3ba330b91d26bc04578fad9d10d143dc86322writing manifestsuccessPS C:\Users\DK\Desktop\投喂的资料\deepseek-r1-1.5b-merged>