There was an error while loading. Please reload this page.
MNN 团队在 ModelScope 和 Hugging Face 上持续发布预转换的 MNN 格式模型(已量化,开箱即用)。
在上述页面中搜索模型名称(如 Qwen2.5、DeepSeek、Llama 等)即可找到对应的 MNN 预转换版本。
Qwen2.5
DeepSeek
Llama
以 Qwen2.5-1.5B-Instruct 为例:
# 从 ModelScope 下载 git lfs install git clone https://modelscope.cn/models/MNN/Qwen2.5-1.5B-Instruct-MNN.git # 直接运行 ./llm_demo Qwen2.5-1.5B-Instruct-MNN/config.json
如果预转换模型列表中没有你需要的模型,可以使用 llmexport 工具自行导出,参考 LLM 部署指南。
llmexport