一步步教你掌握 Linux 系统下的 Ollama 使用方法
Ollama 是一个强大的开源工具，它让在本地运行大型语言模型（LLM）变得简单。无论你是开发者、研究人员，还是对人工智能充满好奇的爱好者，Ollama 都能帮助你在自己的计算机上轻松体验 LLM 的魅力。本文将详细介绍在 Linux 系统下安装、配置和使用 Ollama 的各个方面，让你能够充分利用这个工具。
一、为什么选择 Ollama？
在深入了解 Ollama 的使用方法之前，我们先来探讨一下为什么选择 Ollama：
- 简单易用： Ollama 的设计理念就是简化 LLM 的部署和使用。它提供了简洁的命令行界面，只需几条命令就能完成模型的下载、运行和交互。
- 本地运行： 与依赖云服务的 LLM 平台不同，Ollama 让你在本地计算机上运行模型。这意味着你可以更好地控制数据隐私，无需担心网络延迟，并且可以在没有互联网连接的情况下使用。
- 支持多种模型： Ollama 支持多种流行的开源 LLM，如 Llama 2、Mistral、Gemma 等。你可以根据自己的需求选择合适的模型。
- 跨平台： Ollama 不仅支持 Linux，还支持 macOS 和 Windows（通过 WSL）。这使得它成为一个通用的 LLM 运行工具。
- 活跃的社区： Ollama 拥有一个活跃的开源社区，你可以在社区中获得帮助、分享经验，并参与项目的开发。
二、安装 Ollama
在 Linux 系统上安装 Ollama 非常简单，只需一条命令即可：
bash
curl -fsSL https://ollama.com/install.sh | sh
这条命令会下载 Ollama 的安装脚本并执行。脚本会自动检测你的系统环境，下载并安装 Ollama 的可执行文件，并进行必要的配置。
安装过程详解：
-
curl -fsSL https://ollama.com/install.sh:curl: 这是一个常用的命令行工具，用于从服务器获取数据。-f: 如果服务器返回错误（例如 404 Not Found），curl将会失败。-s: 静默模式，不显示进度条或错误信息。-S: 当与-s一起使用时，如果发生错误，curl仍然会显示错误信息。-L: 如果服务器返回重定向响应，curl会跟随重定向。https://ollama.com/install.sh: 这是 Ollama 安装脚本的 URL。
-
| sh:|: 这是管道操作符，它将前一个命令的输出作为后一个命令的输入。sh: 这是 shell 解释器，它会执行通过管道传递给它的脚本。
安装完成后，你可以通过运行 ollama --version 来验证安装是否成功。如果安装成功，你将看到 Ollama 的版本号。
三、Ollama 基本使用
安装完成后，我们就可以开始使用 Ollama 了。Ollama 的核心功能是运行和管理 LLM。
1. 下载模型
在使用 LLM 之前，你需要先下载模型。Ollama 提供了一个 pull 命令来下载模型：
bash
ollama pull <model_name>
例如，要下载 Llama 2 模型，你可以运行：
bash
ollama pull llama2
要下载 Gemma 模型, 你可以运行:
bash
ollama pull gemma
Ollama 会从官方的模型库下载模型。你可以在 Ollama 官网的模型页面 找到可用的模型列表。
模型命名规则：
Ollama 的模型名称通常遵循 <model_name>:<tag> 的格式。tag 用于指定模型的版本或变体。如果不指定 tag，Ollama 会默认下载 latest 标签对应的模型。
2. 运行模型
下载模型后，你可以使用 run 命令来运行它：
bash
ollama run <model_name>
例如，要运行 Llama 2 模型，你可以运行：
bash
ollama run llama2
运行模型后，Ollama 会启动一个交互式会话，你可以在其中输入提示并获取模型的响应。
交互式会话：
在交互式会话中，你可以输入问题或指令，然后按 Enter 键。Ollama 会将你的输入发送给 LLM，并显示模型的响应。你可以继续输入新的提示，与模型进行持续对话。
退出交互式会话：
要退出交互式会话，你可以输入 /bye 或按 Ctrl+D。
3. 查看已安装的模型
你可以使用 list 命令来查看已安装的模型：
bash
ollama list
这个命令会列出所有已下载到本地的模型，包括模型名称、标签、大小和最后修改时间。
4. 删除模型
如果你不再需要某个模型，可以使用 rm 命令来删除它：
bash
ollama rm <model_name>
例如，要删除 Llama 2 模型，你可以运行：
bash
ollama rm llama2
四、Ollama 高级用法
除了基本用法外，Ollama 还提供了一些高级功能，可以让你更灵活地使用 LLM。
1. 自定义提示模板
Ollama 允许你自定义提示模板，以控制 LLM 的输出格式和行为。你可以创建一个名为 Modelfile 的文件，在其中定义提示模板和其他参数。
Modelfile 示例：
“`
FROM llama2
设置系统提示
SYSTEM “””
You are a helpful assistant, skilled in explaining complex concepts in simple terms.
“””
设置参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
设置输出格式
TEMPLATE “””
{{- if .System }}
<|system|>
{{ .System }}
<|end|>
{{- end }}
<|user|>
{{ .Prompt }}
<|end|>
<|assistant|>
“””
“`
Modelfile 详解：
FROM <model_name>: 指定基础模型。SYSTEM "<system_prompt>": 设置系统提示，用于指导模型的整体行为。TEMPLATE: 自定义提示模板PARAMETER <parameter_name> <value>: 设置模型参数，如temperature、top_p等。这些参数会影响 LLM 的输出多样性和创造性。TEMPLATE "<template>": 定义提示模板，使用 Go 模板语法。{{ .System }}: 插入系统提示。{{ .Prompt }}: 插入用户输入的提示。
创建自定义模型：
创建 Modelfile 后，你可以使用 create 命令来创建一个自定义模型：
bash
ollama create <custom_model_name> -f Modelfile
例如, 根据上面的Modelfile文件, 可以运行如下命令:
bash
ollama create my-llama2 -f Modelfile
然后，你可以像运行其他模型一样运行自定义模型：
bash
ollama run my-llama2
2. 使用 API 服务
Ollama 提供了一个 REST API，你可以通过 HTTP 请求与 LLM 进行交互。这使得你可以将 Ollama 集成到其他应用程序或服务中。
启动 API 服务：
默认情况下，Ollama 会在后台启动一个 API 服务。你可以通过 OLLAMA_HOST 环境变量来配置 API 服务的地址和端口。
API 端点：
Ollama API 提供了多个端点，用于生成文本、处理聊天消息、管理模型等。以下是一些常用的端点：
/api/generate: 生成文本。/api/chat: 处理聊天消息。/api/pull: 下载模型。/api/list: 列出已安装的模型。/api/show: 显示模型的相信信息
使用 API 示例（使用 curl）：
bash
curl http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "Why is the sky blue?"
}'
这个命令会向 Ollama API 发送一个生成文本的请求，模型为 Llama 2，提示为 “Why is the sky blue?”。API 会返回模型的响应。
3. 使用环境变量
Ollama 支持通过环境变量来配置一些行为。以下是一些常用的环境变量：
OLLAMA_MODELS: 自定义模型存放路径OLLAMA_HOST: 配置 API 服务的地址和端口。OLLAMA_KEEP_ALIVE: 控制模型在内存中的保留时间。
五、常见问题解答
-
Ollama 支持哪些 GPU？
Ollama 支持 NVIDIA GPU（通过 CUDA）和 AMD GPU（通过 ROCm）。如果你的系统有兼容的 GPU，Ollama 会自动利用 GPU 加速 LLM 的运行。
-
如何查看 Ollama 的日志？
Ollama 的日志信息通常会输出到终端。你可以通过重定向标准错误输出来将日志保存到文件：
bash
ollama run llama2 2> ollama.log -
如何更新 Ollama？
你可以使用与安装时相同的命令来更新 Ollama：
bash
curl -fsSL https://ollama.com/install.sh | sh安装脚本会自动检测并更新已安装的 Ollama。
-
如何离线使用Ollama？
一旦你使用ollama pull命令下载了所需的模型，你就可以在没有互联网连接的情况下运行这些模型。Ollama会将模型文件存储在本地，因此在运行ollama run时不需要网络连接。 -
如何自定义模型存放位置
默认情况下, Ollama 会把模型文件放在
~/.ollama/models下. 可以通过设置OLLAMA_MODELS环境变量来自定义模型存放位置. 例如:
bash
export OLLAMA_MODELS=/path/to/your/models
六、总结
Ollama 是一个强大而易用的工具，它让在 Linux 系统上运行 LLM 变得简单。通过本文的介绍，你应该已经掌握了 Ollama 的安装、基本使用和高级用法。希望你能充分利用 Ollama，探索 LLM 的无限可能！
进一步学习：
- Ollama 官网： https://ollama.com
- Ollama GitHub 仓库： https://github.com/ollama/ollama
- Ollama 模型库： https://ollama.com/library
请记住，Ollama 是一个不断发展的项目，新的功能和模型会不断推出。建议你定期查看 Ollama 的官方文档和社区，以获取最新的信息和最佳实践。