快速开始 Ollama：下载安装指南 – wiki基地

作者： /

快速开始 Ollama：您的本地大语言模型伴侣（下载安装指南）

引言

在人工智能爆炸式发展的时代，大语言模型（LLMs）已成为强大的工具，能够进行文本生成、问答、编程辅助等多种任务。然而，许多流行的LLMs需要通过云服务访问，这可能涉及到隐私、成本和网络依赖的问题。幸运的是，随着技术的进步，现在我们有机会在自己的计算机上运行这些强大的模型。

Ollama 正是为此而生。它是一个简单易用的工具，旨在帮助您轻松地在本地机器上设置和运行开源大语言模型。无需复杂的配置，无需深入了解底层技术细节，Ollama 提供了一个统一的框架，让您能够快速体验本地LLMs的强大能力。无论是开发者想要构建基于本地模型的应用，还是普通用户希望在保护隐私的前提下与LLMs互动，Ollama 都是一个极佳的起点。

本篇文章将为您提供一份详尽的 Ollama 下载与安装指南。我们将一步步地讲解如何在不同的操作系统（macOS, Windows, Linux）上获取并安装 Ollama，确保您能顺利地迈出本地运行大模型的关键一步。我们不仅会提供清晰的操作步骤，还会解释一些背景知识、注意事项以及安装后如何快速启动您的第一个模型，帮助您全面掌握 Ollama 的入门之道。

为什么选择 Ollama？

在深入安装细节之前，让我们快速回顾一下 Ollama 的主要吸引力：

  1. 简易性： Ollama 抽象了运行 LLM 的复杂性。它打包了模型权重、推理代码和必要的依赖项，提供了一个简单的命令行接口（CLI）和 API。
  2. 跨平台支持： Ollama 支持 macOS、Windows 和 Linux，覆盖了大多数个人计算机用户。
  3. 模型生态： Ollama 提供了一个模型库（ollama.com/library），您可以轻松下载和管理各种开源模型，如 Llama 2、Mistral、Gemma、TinyLlama 等。
  4. 硬件加速： Ollama 能够利用您计算机上的 GPU (图形处理器) 进行加速推理，显著提高模型的响应速度。即使没有高端 GPU，它也能回退到 CPU 运行（尽管速度会慢很多）。
  5. 本地运行，保护隐私： 所有计算都在您的本地机器上完成，您的数据不会发送到外部服务器，这对于处理敏感信息或注重隐私的用户至关重要。
  6. 开发者友好： Ollama 提供了一个 REST API，方便开发者将其集成到各种应用中，构建本地 AI 助手、聊天机器人或其他创新应用。

正是这些优势，使得 Ollama 成为当前本地运行开源 LLMs 的热门选择。现在，让我们开始准备安装吧！

准备工作：系统要求与注意事项

在下载 Ollama 之前，确保您的系统满足以下基本要求：

  1. 操作系统：

    • macOS：支持 macOS Monterey 12 或更高版本。Apple Silicon (M系列芯片) 和 Intel 芯片都支持，Apple Silicon 会有更好的性能表现。
    • Windows：支持 Windows 10 或更高版本。建议使用 Windows 11 以获得更好的兼容性和性能。需要支持 WSL 2 (适用于 Linux 的 Windows 子系统) 或拥有 NVIDIA GPU。Ollama 在 Windows 上主要通过利用 GPU 或 WSL 2 来运行模型，直接在 Windows 上使用 CPU 运行性能可能不佳。
    • Linux：支持大多数主流 Linux 发行版，包括 Ubuntu、Debian、Fedora、CentOS、Arch Linux 等。需要支持现代的 glibc 版本。对于 GPU 加速，需要安装相应的驱动程序（NVIDIA 或 ROCm 支持的 AMD GPU）。

  2. 硬件：

    • 内存 (RAM)： 这是运行 LLMs 最关键的硬件之一。模型越大，需要的内存越多。
      • 运行 7B 参数的模型：建议至少 8GB RAM。
      • 运行 13B 参数的模型：建议至少 16GB RAM。
      • 运行 33B 参数的模型：建议至少 32GB RAM。
      • 请注意，这些是建议值，模型运行时实际占用的内存可能略有不同。RAM 不足会导致模型运行极慢，甚至无法加载。
    • 存储空间： 您需要足够的硬盘空间来存储 Ollama 程序本身和您下载的模型文件。模型文件通常较大，一个 7B 参数的模型可能占用 4GB 到 8GB 不等，更大的模型会占用几十GB甚至更多。建议预留至少几十GB的空闲空间。
    • 图形处理器 (GPU)： GPU 对于加速 LLM 推理至关重要，尤其对于较大的模型。
      • NVIDIA GPU： Ollama 对 NVIDIA GPU 的支持最好。确保您的 GPU 具备足够的显存 (VRAM)。4GB VRAM 可以运行一些较小的量化模型（如 7B Q4），8GB 及以上可以运行更大或更高精度的模型。确保安装了最新的 NVIDIA 驱动程序。
      • AMD GPU： Ollama 正在改进对 AMD GPU 的支持，主要通过 ROCm 框架在 Linux 上。Windows 和 macOS 上的 AMD 支持可能有限或依赖于其他后端。请查阅 Ollama 官方文档获取最新的 AMD 支持信息。
      • Intel GPU： Ollama 对 Intel GPU 的支持也在发展中。集成的 Intel 显卡通常显存较低，可能仅适用于最小的模型或提供有限加速。
      • 无 GPU： 如果您的计算机没有合适的 GPU 或显存不足，Ollama 会回退到使用 CPU 进行推理。这也可以工作，但速度会非常慢，特别是对于较大的模型。

  3. 网络连接： 下载 Ollama 安装程序和模型文件需要稳定的互联网连接。模型文件通常较大，可能需要一些时间下载。

下载 Ollama 安装程序

获取 Ollama 安装程序的最安全和推荐的方式是通过其官方网站。

打开您的网页浏览器，访问 Ollama 的官方网站：

https://ollama.com/

在网站首页，您会看到一个显眼的“Download”按钮。点击这个按钮，网站会自动检测您的操作系统，并引导您下载对应版本的安装包。

通常，您会看到如下选项（或类似的）：

  • Download for macOS
  • Download for Windows
  • Download for Linux (会提供安装脚本)

选择与您的操作系统对应的下载选项。

分平台安装指南

现在，让我们详细讲解如何在不同的操作系统上进行安装。

1. macOS 安装指南

macOS 上的 Ollama 安装过程非常简单直观。

  • 步骤 1：下载安装包
    在 Ollama 官网点击“Download for macOS”。您将下载一个 .dmg 格式的磁盘映像文件，例如 Ollama-darwin.dmg。

  • 步骤 2：打开磁盘映像文件
    找到下载的 .dmg 文件，双击打开它。这将挂载一个虚拟磁盘，并在 Finder 中打开一个窗口，显示 Ollama 应用图标和一个指向“Applications”文件夹的快捷方式。

  • 步骤 3：安装 Ollama 应用
    将 Ollama 应用图标直接拖拽到“Applications”文件夹的快捷方式上，或者将图标拖拽到您的 Applications 文件夹中。这会将 Ollama 应用复制到您的应用程序目录。

  • 步骤 4：启动 Ollama
    打开“Applications”文件夹，找到 Ollama 应用图标，双击启动它。
    首次启动时，macOS 可能会提示您该应用是从互联网下载的，询问是否确定要打开。点击“打开”。
    Ollama 启动后，它不会打开一个窗口，而是在后台作为一个服务运行，并在菜单栏中显示一个图标（通常是一个火焰或类似的图标）。这个菜单栏图标表示 Ollama 服务正在运行。

  • 步骤 5：验证安装
    打开“终端”（Terminal）应用程序（可以在 Spotlight 搜索中输入“Terminal”找到）。
    在终端中输入以下命令并按回车：
    bash
    ollama --version
    如果安装成功且 Ollama 服务正在运行，您应该会看到 Ollama 的版本号输出。
    您还可以尝试输入 ollama 并按回车，如果看到 Ollama 的使用说明输出，也表明安装成功。

    额外提示： Ollama 的菜单栏图标提供了一些快捷操作，例如查看运行状态、退出 Ollama 等。

至此，Ollama 已成功安装并作为后台服务在您的 macOS 系统上运行。

2. Windows 安装指南

Windows 上的 Ollama 安装同样简单，主要通过一个标准的安装程序完成。

  • 步骤 1：下载安装包
    在 Ollama 官网点击“Download for Windows”。您将下载一个 .exe 格式的可执行安装文件，例如 OllamaSetup.exe。

  • 步骤 2：运行安装程序
    找到下载的 OllamaSetup.exe 文件，双击运行它。您可能需要管理员权限才能运行安装程序。

  • 步骤 3：遵循安装向导
    安装向导会弹出。通常，您只需要：

    • 阅读并接受许可协议。
    • 选择安装位置（通常使用默认位置即可）。
    • 点击“Install”开始安装。
      安装程序会自动完成文件的复制和配置。

  • 步骤 4：等待安装完成
    安装过程可能需要几分钟。完成后，安装向导会显示安装成功的消息。您可以选择是否立即启动 Ollama。

  • 步骤 5：启动 Ollama 服务
    如果在安装结束时没有选择立即启动，您可以在开始菜单中找到 Ollama 并点击启动。
    Ollama 在 Windows 上通常也会作为后台服务运行，并在系统托盘区显示一个图标（可能需要点击“显示隐藏的图标”箭头）。这个图标表示 Ollama 服务正在运行。

  • 步骤 6：验证安装
    打开命令提示符（Command Prompt）或 PowerShell 应用程序。可以在开始菜单搜索中输入“cmd”或“powershell”找到。
    在命令行窗口中输入以下命令并按回车：
    bash
    ollama --version
    如果安装成功且 Ollama 服务正在运行，您应该会看到 Ollama 的版本号输出。
    您还可以尝试输入 ollama 并按回车，如果看到 Ollama 的使用说明输出，也表明安装成功。

    额外提示： 检查系统托盘区的 Ollama 图标，它可以提供关于 Ollama 服务状态的信息。

至此，Ollama 已成功安装并作为后台服务在您的 Windows 系统上运行。

3. Linux 安装指南

Linux 上的 Ollama 安装通常通过官方提供的一个安装脚本来完成，这个脚本会自动检测您的发行版并使用相应的包管理器进行安装。这种方式既方便又推荐。

  • 步骤 1：打开终端
    打开您的 Linux 发行版上的终端应用程序。

  • 步骤 2：运行安装脚本
    Ollama 官方提供了一个简洁的安装脚本，您可以通过 curl 命令直接执行它。输入以下命令并按回车：
    bash
    curl -fsSL https://ollama.com/install.sh | sh
    让我解释一下这个命令：

    • curl -fsSL https://ollama.com/install.sh: 这部分使用 curl 命令从指定的 URL 下载安装脚本。
      • -f: 在 HTTP 错误时静默失败。
      • -s: 静默模式，不显示进度或错误信息（除非发生错误）。
      • -S: 当静默模式 (-s) 开启时，强制 curl 显示错误信息。
      • -L: 如果服务器返回重定向，则跟随重定向。
    • |: 这是一个管道符号，它将 curl 命令的输出（即下载的安装脚本内容）作为输入传递给下一个命令。
    • sh: 这部分执行传递过来的脚本内容。

    当您运行这个命令时，脚本会自动检测您的 Linux 发行版 (例如 Ubuntu, Fedora, Arch Linux 等)，判断您是否需要 sudo 权限来安装，然后使用相应的包管理器 (如 apt, dnf, pacman 等) 下载并安装 Ollama 包及其依赖项。

  • 步骤 3：输入密码 (如果需要)
    如果脚本需要 sudo 权限来安装包，它会提示您输入当前用户的密码。输入密码并按回车。

  • 步骤 4：等待安装完成
    脚本会自动执行安装过程，包括下载 Ollama 包、安装服务等。这个过程可能需要一些时间，取决于您的网络速度和系统性能。您会在终端看到安装过程的输出。

  • 步骤 5：验证安装
    安装完成后，Ollama 服务通常会自动启动。您可以通过以下命令验证安装：
    bash
    ollama --version
    如果安装成功且服务正在运行，您会看到 Ollama 的版本号输出。
    您还可以尝试输入 ollama 并按回车，如果看到 Ollama 的使用说明输出，也表明安装成功。

  • 重要：配置用户组以获取 GPU 访问权限 (针对 Linux)
    在许多 Linux 系统上，为了让普通用户能够访问 GPU 并让 Ollama 服务能够利用 GPU 进行推理，您需要将运行 Ollama 的用户添加到 ollama 用户组中。安装脚本通常会创建这个用户组。
    使用以下命令将当前用户添加到 ollama 组（将 <your_username> 替换为您的实际用户名）：
    bash
    sudo usermod -aG ollama <your_username>
    输入您的密码。
    应用用户组更改： 用户组的更改通常需要您注销并重新登录您的用户会话，或者重启计算机才能完全生效。这是非常关键的一步，否则 Ollama 可能无法检测到并使用您的 GPU，导致推理速度非常慢。

    额外提示： 您可以使用 groups <your_username> 命令来验证您的用户是否已成功添加到 ollama 组中。

至此，Ollama 已成功安装并作为后台服务在您的 Linux 系统上运行。

安装后的第一步：运行您的第一个大模型

Ollama 安装成功并作为后台服务运行后，您就可以开始下载并运行大语言模型了。模型文件本身是独立于 Ollama 服务的，您需要通过 Ollama 的命令行接口来管理它们。

  • 步骤 1：打开终端/命令提示符/PowerShell
    如果您在 macOS 或 Linux 上，打开终端。如果您在 Windows 上，打开命令提示符或 PowerShell。

  • 步骤 2：选择一个模型
    Ollama 官方维护了一个模型库，您可以在 https://ollama.com/library 查看可用的模型列表。对于初次尝试，建议选择一个参数量较小、下载速度快且对硬件要求较低的模型。
    一些适合初学者尝试的模型包括：

    • llama2 (Meta 的 Llama 2，7B 参数版本)
    • mistral (Mistral AI 的 Mistral 7B)
    • tinyllama (一个只有 1.1B 参数的小模型，速度快，资源消耗低)

    让我们以 llama2 为例。

  • 步骤 3：运行模型
    使用 ollama run 命令来下载（如果本地没有）并启动一个模型的交互式对话。
    在终端中输入以下命令并按回车：
    bash
    ollama run llama2
    如果您是第一次运行 llama2 模型，Ollama 会检测到本地没有该模型文件，然后自动开始下载。您会看到下载进度条，例如：
    pulling manifest
    pulling 8934ee582963... 100% ▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰ 4.1 GB / 4.1 GB
    pulling f3a19c41c73b... 100% ▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰▰ 12 KB / 12 KB
    verifying sha256 digest
    using already created model llama2
    下载速度取决于您的网络带宽和模型大小。请耐心等待。

  • 步骤 4：开始对话
    模型下载并加载完成后，您会看到一个提示符，表示模型已准备好接受输入。例如：
    >>> Send a message (/? for help)
    现在，您可以输入您的问题或指令，按回车，模型就会生成回复。
    例如，输入：
    Tell me a short story about a cat and a mouse.
    模型会处理您的请求并生成一个故事。

  • 步骤 5：结束对话
    如果您想结束与当前模型的对话并退出交互模式，可以输入 /bye 并按回车。
    您也可以输入 /? 查看更多可用的命令，例如 /help 显示帮助信息，/load <model_name> 加载另一个模型等。

恭喜您！您已经成功地在本地安装了 Ollama 并运行了您的第一个大语言模型。现在，您可以尽情地与它互动，探索本地 LLM 的潜力。

常见问题与故障排除

在安装和使用 Ollama 的过程中，您可能会遇到一些问题。以下是一些常见的问题及其解决方案：

  1. Ollama 服务没有运行：

    • 症状： 运行 ollama 命令时提示“connection refused”或类似错误。
    • 原因： Ollama 后台服务没有启动或意外停止。
    • 解决方案：
      • macOS： 检查菜单栏是否有 Ollama 图标，如果没有，尝试在 Applications 文件夹中双击 Ollama 应用重新启动。
      • Windows： 检查系统托盘区是否有 Ollama 图标，如果没有，尝试在开始菜单中找到 Ollama 应用并点击启动。您也可以检查 Windows 服务管理器，查找名为 “Ollama” 的服务，确保其状态为“正在运行”。
      • Linux： 使用系统服务管理命令检查状态并启动服务：
        bash
        sudo systemctl status ollama
        sudo systemctl start ollama
        如果启动失败，可以查看日志获取更多信息：journalctl -u ollama.service。

  2. ollama 命令找不到：

    • 症状： 在终端或命令行中输入 ollama 命令提示“command not found”。
    • 原因： Ollama 的安装目录没有添加到系统的环境变量 PATH 中，或者安装没有成功。
    • 解决方案：
      • macOS/Linux： Ollama 的安装脚本通常会自动配置 PATH。如果出现此问题，尝试关闭并重新打开终端窗口。如果问题仍然存在，可能需要手动将 Ollama 的安装目录添加到 PATH 环境变量中（这通常是 /usr/local/bin 或 ~/.ollama/bin，具体取决于安装方式，但官方脚本通常安装到 /usr/local/bin）。
      • Windows： 重启命令提示符或 PowerShell 窗口。如果问题仍然存在，检查 Ollama 是否成功安装到默认位置 (C:\Program Files\Ollama)，并确认该路径或其子路径（包含 ollama.exe）已添加到系统的 Path 环境变量中。安装程序通常会处理这一步。

  3. 模型下载缓慢或失败：

    • 症状： 运行 ollama run 或 ollama pull 命令时下载速度很慢，或者下载过程中断、失败。
    • 原因： 网络连接不稳定、Ollama 服务器负载高或模型文件较大。
    • 解决方案：
      • 检查您的网络连接。
      • 耐心等待，大模型文件需要时间下载。
      • 如果多次尝试失败，可以稍后再次尝试。
      • 考虑下载参数量更小的模型进行测试。

  4. 模型运行速度非常慢：

    • 症状： 模型加载后，生成回复需要很长时间（几分钟甚至更长）。
    • 原因： Ollama 正在使用 CPU 而非 GPU 进行推理，或者您的硬件（CPU/GPU/RAM）不足以高效运行该模型。
    • 解决方案：
      • 检查 GPU 使用：
        • NVIDIA (所有OS): 使用 nvidia-smi 命令检查 GPU 显存使用情况。如果 Ollama 正在使用 GPU，您应该能看到相关的进程。
        • Linux (所有GPU): 检查 Ollama 服务的日志 (journalctl -u ollama.service) 或使用工具（如 htop, nvtop, radeontop）查看 GPU 利用率。
      • Linux 用户组问题： 如果您在 Linux 上，请务必确认您已将当前用户添加到 ollama 用户组，并且已注销并重新登录或重启计算机。这是确保 Ollama 能够访问 GPU 的关键步骤。
      • 硬件限制： 如果您的硬件配置低于模型建议要求（尤其是 RAM 和 VRAM），速度慢是正常的。考虑下载参数量更小的模型（例如使用 ollama run tinyllama）。量化程度更高的模型（如 llama2:7b-q4_k_m）通常显存占用更少，但可能会略微牺牲精度。
      • 驱动程序： 确保您的 GPU 驱动程序是最新且正确安装的。

  5. 权限错误：

    • 症状： 在某些目录下操作或运行某些命令时遇到权限不足的错误。
    • 原因： 当前用户没有执行特定操作所需的权限。
    • 解决方案：
      • 在 Linux 上，涉及到系统级别的操作（如修改用户组、管理服务）需要使用 sudo 命令。
      • 确保 Ollama 服务是以具有适当权限的用户或系统服务身份运行的。官方安装脚本通常会正确配置这一点。
      • 检查 Ollama 模型存储目录 (~/.ollama 或 /usr/share/ollama 等，具体取决于系统和安装方式) 的权限，确保您的用户对其有读写权限。

  6. 防火墙问题：

    • 症状： Ollama 命令或客户端无法连接到本地运行的 Ollama 服务（通常运行在 127.0.0.1:11434）。
    • 原因： 系统防火墙或安全软件阻止了应用程序之间的本地网络通信。
    • 解决方案：
      • 检查您的防火墙设置，确保允许 Ollama 相关的进程（例如 ollama）进行本地通信。
      • 如果您使用的是第三方安全软件，检查其设置。

当遇到问题时，查阅 Ollama 的官方文档和社区论坛（如 GitHub Discussions）也是非常有价值的资源。

结论

恭喜您完成了 Ollama 的下载和安装！现在，您已经成功地在自己的计算机上搭建了一个本地运行大语言模型的基础环境。从 macOS、Windows 到 Linux，Ollama 都提供了相对简便的安装流程，将过去复杂的模型部署过程大大简化。

Ollama 不仅仅是一个安装工具，它还是一个强大的平台。通过简单的命令行接口，您可以轻松地：

  • 下载和管理各种开源模型 (ollama pull, ollama list, ollama rm)。
  • 与模型进行交互式对话 (ollama run)。
  • 创建自己的模型或对现有模型进行微调 (ollama create, ollama push)。
  • 通过 REST API 将 Ollama 集成到您的应用程序中。

本地运行 LLMs 开启了无限的可能性，从构建私有的智能助手，到进行敏感数据的文本分析，再到离线环境下的AI应用开发。Ollama 为您探索这些可能性提供了触手可及的入口。

我们鼓励您继续探索 Ollama 的更多功能，尝试不同的大小和类型的模型，了解它们在您的硬件上的表现。随着开源社区的不断发展，将会有越来越多强大的模型加入到 Ollama 的生态中。

感谢您阅读这份详细的安装指南。希望它能帮助您顺利开启本地大语言模型的奇妙旅程！祝您使用愉快！

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部