自适应稀疏激活的大模型高效架构设计（MiniMind MoE / PG-MoE）

本仓库为本人毕业设计配套工程代码与实验记录整理版，围绕 MiniMind-3v-moe（约 201M 总参 / 约 67M 激活参）的预训练、微调与评测，完成了 Prototype-Guided MoE（PG-MoE）的一系列机制与实验闭环。

为便于后续提交“随附材料”与同步到 GitHub，本仓库默认不包含体积巨大的训练产物（checkpoints）、预分词数据、HuggingFace 缓存与模型权重；这些内容保留在本地目录中，并通过忽略规则避免误提交。

包含内容

• 服务器上的项目过程记录：CLAUDE.md
• 预训练脚本与分析工具：pretrain/
• 微调/评测脚本（增量专家等）：finetune/
• 微调与评测框架（保留为子目录）：LlamaFactory/
• 论文用结果小文件（表格/可视化数据等）：LlamaFactory/paper_results/
• 模型代码补丁（从 v7 最终 checkpoint 抽取的 code-only 版本）：model_patches/
• 论文用结果小体量快照（从 v7 results 拣选）：paper_artifacts/

仓库结构（GitHub 视角）

• 代码与文档会被提交到 GitHub
• 下列大目录在本仓库中默认忽略（仅本地保留）：pretrain_runs/、pretrain_data/、hf_home/、finetune_runs/、LlamaFactory/data/semantic/、LlamaFactory/experiments/ 等
• 具体忽略清单见：.gitignore

快速复现（最小闭环）

本项目多数脚本默认使用 transformers 的 trust_remote_code=True 从“模型目录”加载 model_minimind.py/model_vlm.py。因此需要一个“模型目录”同时包含：

• 权重与 tokenizer（从原始基座或你自己的 checkpoint 获得）
• 本项目的模型代码补丁（见 model_patches/）

推荐工作流：

• 下载/准备一个基座模型目录（本地，不提交 GitHub）
• 将 model_patches/pgmoe_v7 下的 model_minimind.py、model_vlm.py 覆盖到该模型目录
• 使用该目录作为 --model_dir（预训练）或 --model_path（评测）

权重发布建议（适合 GitHub 同步）：

• 将 pretrain_runs/v7_dualproto_10b_120k/final/ 发布到 HuggingFace/ModelScope
• GitHub 仓库仅保留源码/文档/补丁，并给出下载链接与校验信息

ModelScope 模型仓库建议命名（本项目 v7 定稿）：

• FanCy5502/pgmoe-minimind-v7-dualproto-zeroexpert

更详细的入口说明：

• 预训练运行说明：README_PRETRAIN.md
• 微调与评测运行说明：README_FINETUNE.md
• 总入口索引：README_RUNBOOK.md
• ModelScope 发布与复现：docs/MODELSCOPE.md