​新版 Ollama 中导入外部模型 GGUF 模型

  新版本的Ollama存储模型的结构发生了变化，本文讲解如何在 Ollama 中导入本地 GGUF 模型、创建自定义模型、运行对话，并解决最常见的自问自答问题。当前版本0.17.5.文章写作时间2026年3月4日。

一、GGUF 模型文件下载

GGUF 是目前大模型本地运行最常用的量化格式，体积小、速度快、显存占用低。你可以在Hugging Face或者魔塔社区下载现成 GGUF 模型，下载后，将 .gguf 文件放到一个纯英文、无空格的文件夹中。

二、创建 Modelfile 配置文件

在 GGUF 文件所在目录，新建一个无后缀名的文件，命名为Modelfile，文件内只需要写一行，指定模型路径：

FROM ./你的模型文件名.gguf

示例（以 Qwen3-8B 为例）：

FROM ./Qwen3-8B-Q6_K.gguf

三、在 Ollama 中创建本地模型

打开终端 / CMD，进入 GGUF 所在目录，执行：

ollama create 自定义模型名 -f Modelfile

示例：

ollama create Qwen3-8B -f Modelfile

出现 success 提示即创建完成。

常见问题：模型出现自问自答

很多 GGUF 模型没有内置聊天模板，而 Ollama 默认模板不匹配，就会出现：

自己续写

自问自答

重复输出

解决方法：修改 Modelfile，添加正确对话模板

将 Modelfile 替换为以下内容（通用版，适配绝大多数模型）：

FROM ./Qwen3-8B-Q6_K.gguf

SYSTEM "你是一个专业AI助手，请根据用户输入准确回答，不编造信息。"

TEMPLATE """<|im_start|>system
{{ .System }}
<|im_end|>
<|im_start|>user
{{ .Prompt }}
<|im_end|>
<|im_start|>assistant
"""

修改后重新执行创建命令即可恢复正常对话(第一次创建比较慢，后面会快一些)：

ollama create Qwen3-8B -f Modelfile

完整流程总结

下载 GGUF 模型

新建 Modelfile，写 FROM 指向模型

ollama create 创建模型

ollama list 查看

ollama run 运行

自问自答 → 加模板 + 重新创建