随着大型语言模型 (LLM) 的快速发展，对高效且兼容的模型托管的需求也日益增长。Ollama是在各种操作系统（包括 Windows、Linux 和 macOS）上运行 LLM 的最简单方法之一。但是，Ollama 的原生模型列表无法跟上 Hugging Face 等平台上的广泛选择。对于较大的模型（例如 GGUF 格式的 Dolphin Mix 2.7），Ollama 提供了一种无缝的方式来在本地加载和运行量化版本，而无需大量 GPU 资源。

以下是使用Ollama设置任何GGUF模型的逐步指南。

第一步：下载GGUF模型

1. 导航至Hugging Face上的模型页面。
2. 在模型页面，选择“文件”以查看所有可用的GGUF格式和大小。
3. 选择一个适合你硬件的较小、量化尺寸的GGUF格式。
4. 右键点击下载链接并复制它<model_download_link>。

第二步：设置Ollama目录

打开你的终端，并导航至Ollama的安装目录：

cd ~/ollama/models

使用wget命令直接将GGUF模型文件下载到此目录：

wget <model_download_link><model_download_link>

第三步：验证模型下载

模型文件下载完成后，在目录中检查它：

ls -ltr

你的GGUF模型文件现在应该在该目录中可见。

第四步：设置模型配置文件

为了让Ollama识别这个GGUF模型，你需要创建一个配置文件。为了学习目的，我们假设使用的是dolphin-mix-2.7模型。

使用现有的模型配置文件作为模板：

ollama show-model-file dolphin-mix-2.7    show-model-file dolphin-mix-2.7    

将此配置输出重定向到一个新文件中。例如：

ollama show-model-file dolphin-mix-2.7 > dolphin_gguf_config.yamlshow-model-file dolphin-mix-2.7 > dolphin_gguf_config.yaml

在文本编辑器中打开此配置文件：

nano dolphin_gguf_config.yamlyaml

在配置文件中，将模型路径替换为你下载的GGUF模型文件的路径。保存并关闭文件。

第五步：在Ollama中注册新模型

更新配置文件后，将此模型添加到Ollama中：

ollama create-model dolphin_gguf_config.yamlcreate-model dolphin_gguf_config.yaml

此命令将GGUF模型注册到Ollama中。

第六步：列出并运行模型

通过列出可用模型来验证你的模型是否已添加到Ollama中：

ollama list-models

运行模型：

ollama run dolphin-gguf

模型加载后，你就可以像与其他任何Ollama模型一样与它进行交互了。

结论

使用Ollama在本地运行GGUF模型提供了灵活性和兼容性，即使对于像Dolphin Mix 2.7这样的大型模型也是如此。这种设置不仅允许在消费级硬件上运行大型模型，还扩展了本地化定制部署的潜力。