本地运行 LLM：Ollama 详细介绍 – wiki基地

作者： /

本地运行 LLM：Ollama 详细介绍

近年来，大型语言模型（LLM）取得了显著进展，但它们的运行往往需要强大的云计算资源。对于追求数据隐私、降低成本或希望离线使用的用户和开发者而言，在本地运行 LLM 成为了一个极具吸引力的选择。Ollama，一个专为简化本地 LLM 部署而设计的开源工具，正迅速成为这一领域的明星。

本文将深入探讨 Ollama，包括它是什么、为何选择它、如何安装和使用，以及它如何赋能本地 AI 应用的开发。

一、什么是 Ollama？

Ollama 是一个开源平台，它允许用户在本地计算机上轻松地运行、创建和管理大型语言模型。它将复杂的模型权重、配置和推理代码打包成易于分发的“模型文件”（Modelfile），类似于 Docker 镜像，使得用户只需一条命令即可下载并在本地启动一个 LLM。

Ollama 的核心目标是降低本地运行 LLM 的门槛。它封装了底层复杂的推理引擎（如 Llama.cpp），并提供了简洁的命令行界面（CLI）和 RESTful API，让用户无需深入了解 AI 模型的内部工作原理，也能快速体验和集成 LLM 功能。

二、为何选择 Ollama？

选择在本地运行 LLM，特别是通过 Ollama，有以下几个主要优势：

  1. 数据隐私与安全：

    • 所有数据处理都在本地完成，无需将敏感信息发送到第三方云服务。这对于处理个人数据、商业机密或任何需要严格保密的信息至关重要。
    • 避免了潜在的数据泄露风险和合规性问题。

  2. 速度与低延迟：

    • 模型推理直接在本地硬件上执行，消除了网络延迟，响应速度更快。
    • 对于需要实时交互或高吞吐量的应用场景，本地部署能提供更流畅的用户体验。

  3. 成本效益：

    • 一旦模型下载到本地，后续的使用无需支付昂贵的 API 调用费用或云计算资源费用。
    • 对于频繁使用 LLM 的个人或团队，长期来看能显著节省成本。

  4. 离线可用性：

    • 模型在本地运行，即使没有互联网连接也能正常工作。这对于野外作业、网络受限区域或在飞行途中使用 LLM 的场景非常有用。

  5. 定制与灵活性：

    • Ollama 允许用户通过 Modelfile 创建和定制自己的模型，例如合并不同的模型、修改参数或添加系统提示，以满足特定应用的需求。
    • 方便进行实验、调优和迭代。

  6. 硬件利用：

    • 充分利用本地的 GPU 资源（如果可用），特别是对于那些拥有高性能显卡的用户，可以获得与云端服务相媲美的性能。

三、Ollama 的安装

Ollama 支持多种主流操作系统，安装过程通常非常简单。

1. macOS 安装

访问 Ollama 官方网站 (ollama.com)，下载 macOS 版本的安装包（.dmg 文件），双击运行并按照提示完成安装。安装完成后，Ollama 会在后台作为服务运行。

2. Windows 安装

访问 Ollama 官方网站，下载 Windows 版本的安装包（.exe 文件），双击运行并按照提示完成安装。Ollama 服务将自动启动。

3. Linux 安装

对于 Linux 用户，可以通过一行命令进行安装：

bash
curl -fsSL https://ollama.com/install.sh | sh

此脚本会自动检测你的系统架构，并安装 Ollama 服务。

安装完成后，可以在终端中运行 ollama --version 来验证是否安装成功。

四、Ollama 的基本使用

安装 Ollama 后，你就可以开始下载和运行 LLM 了。

1. 下载并运行模型

使用 ollama run 命令来下载并启动一个模型。例如，运行 Llama 2 模型：

bash
ollama run llama2

首次运行此命令时，Ollama 会自动从其模型库中下载 llama2 模型。下载完成后，你将进入一个交互式对话界面，可以直接与模型进行交流。

“`

Send a message (/? for help)
“`

2. 交互式对话

在交互界面中，你可以直接输入问题或指令，模型会给出响应。

“`

Hello, how are you?
Hello! As an AI, I don’t have feelings, but I’m ready to assist you. How can I help you today?
“`

要退出对话，可以输入 /bye 或按下 Ctrl + D。

3. 列出已下载模型

使用 ollama list 命令可以查看所有已下载到本地的 LLM 模型。

bash
ollama list

输出示例：

NAME ID SIZE DIGEST MODIFIED
llama2:latest a9900f073d70 3.8 GB d4841804f329 4 minutes ago
mistral:latest 21ad01417769 4.1 GB f63f572a11b2 1 hour ago

4. 删除模型

如果某个模型不再需要，可以使用 ollama rm 命令将其从本地删除。

bash
ollama rm llama2

5. 更多命令

  • ollama pull <model_name>: 显式地下载一个模型，而不立即运行。
  • ollama push <model_name>: 将你创建或修改的模型分享到 Ollama 社区（需要配置）。
  • ollama serve: 在后台启动 Ollama 服务，通常在你安装时已自动启动。
  • ollama create <model_name> -f Modelfile: 基于 Modelfile 创建一个自定义模型。

五、Ollama 的进阶用法：作为 API 服务

Ollama 不仅提供 CLI 交互，还内置了一个 RESTful API，使得开发者可以轻松地将本地运行的 LLM 集成到自己的应用程序中。默认情况下，Ollama 服务会在 http://localhost:11434 监听请求。

你可以使用任何 HTTP 客户端（如 curl、Python 的 requests 库等）向其发送请求。

文本生成 API 示例 (Python)

“`python
import requests
import json

def generate_text(model_name, prompt):
url = “http://localhost:11434/api/generate”
headers = {“Content-Type”: “application/json”}
data = {
“model”: model_name,
“prompt”: prompt,
“stream”: False # 如果设置为True，则会以流式方式返回响应
}
response = requests.post(url, headers=headers, data=json.dumps(data))
if response.status_code == 200:
result = response.json()
return result[“response”]
else:
return f”Error: {response.status_code} – {response.text}”

if name == “main“:
model = “llama2” # 确保你已通过 ollama run llama2 下载了该模型
user_prompt = “Tell me a short story about a brave knight.”

print(f"Generating text with {model}...")
response_text = generate_text(model, user_prompt)
print("\n--- Response ---")
print(response_text)

“`

这个 API 端点允许你向模型发送提示并获取生成的文本，极大地扩展了 Ollama 的应用场景，例如构建本地聊天机器人、内容生成工具或智能助手。

六、Ollama 支持的流行模型

Ollama 社区积极维护并不断扩展其支持的模型库。以下是一些你可以通过 Ollama 轻松运行的流行模型：

  • Llama 2 (Meta): 一系列强大的开源模型，有不同大小的版本（7B, 13B, 70B），是目前最受欢迎的本地 LLM 之一。
  • Mistral (Mistral AI): 以其高效和高性能而闻名，特别是在较小尺寸模型中表现出色。
  • Gemma (Google): 谷歌发布的轻量级、最先进的开源模型系列，适合在各种设备上部署。
  • Code Llama (Meta): 专门为代码生成和补全任务设计的 Llama 2 变种。
  • Phi-2 (Microsoft): 微软开发的小型但能力出众的模型，适合研究和教育目的。
  • Neural Chat: 基于 Llama 2 经过微调的对话模型，擅长聊天任务。
  • Dolphin Phi: 基于 Phi-2 的微调模型，注重遵循用户指令。

你可以在 Ollama 官方网站的模型库中找到完整且不断更新的模型列表及其详细信息。

七、总结与展望

Ollama 为本地 LLM 的运行提供了一个优雅而强大的解决方案。它通过简化的安装、直观的命令行接口和灵活的 API，使得个人用户和开发者都能轻松地将前沿的 AI 能力带到自己的设备上。

随着模型变得越来越高效，硬件性能的不断提升，以及对数据隐私和成本控制需求的日益增长，Ollama 将在本地 AI 领域扮演越来越重要的角色。它不仅让 LLM 更触手可及，也为下一代隐私优先、离线可用的智能应用奠定了基础。如果你还没有尝试过在本地运行 LLM，Ollama 绝对是值得一试的首选工具。

滚动至顶部