如何下载和安装 Ollama – wiki基地

作者： /

轻松驾驭本地大模型：Ollama 的下载与安装完全指南

近年来，随着人工智能技术的飞速发展，大型语言模型（LLMs）展现出了惊人的能力。然而，许多强大的模型需要在云端运行，这不仅带来了数据隐私、成本开销等问题，也限制了在离线或网络受限环境下的使用。为了解决这些痛点，Ollama 应运而生。

Ollama 是一个轻量级、易于使用的工具，它允许你在本地计算机上轻松地下载、安装和运行各种大型语言模型。无论是 Meta 的 Llama 系列、Mistral、CodeLlama，还是其他流行的开源模型，Ollama 都能为你提供一套简单直观的界面和 API，让你在自己的设备上与这些强大的模型进行交互。

为什么选择 Ollama？

在深入了解安装过程之前，我们先快速回顾一下为什么 Ollama 值得你拥有：

  1. 本地运行，保护隐私： 你的数据和交互过程完全在本地进行，无需上传到第三方服务器，极大地增强了数据安全性。
  2. 速度快，响应及时： 如果你的硬件配置足够，本地运行模型的推理速度通常比通过 API 调用云端服务更快，延迟更低。
  3. 成本低廉： 一旦模型下载到本地，后续的使用几乎没有额外的费用，不像云服务那样需要按使用量付费。
  4. 离线可用： 模型下载完成后，即使没有网络连接，你依然可以使用 Ollama 与模型交互。
  5. 易于使用： Ollama 提供了简洁的命令行界面和方便的 REST API，无论是终端用户还是开发者都能快速上手。
  6. 丰富的模型库： Ollama 支持众多流行的开源模型，你可以根据自己的需求选择不同大小和功能的模型。

总而言之，Ollama 为普通用户和开发者提供了一个便捷、私密且经济的方式来探索和利用大型语言模型的强大能力。

安装前的准备：系统要求

在开始下载和安装 Ollama 之前，确保你的计算机满足最低的系统要求是非常重要的。虽然 Ollama 设计得比较轻量，但运行大型语言模型本身是计算密集型任务，对硬件有一定的要求。

  1. 操作系统支持： Ollama 目前正式支持以下操作系统：

    • macOS (M系列芯片和Intel芯片)
    • Windows 10 / Windows 11 (需要启用 WSL 2 或使用原生的 Windows 安装程序)
    • Linux (兼容 x86_64 架构的大多数发行版，如 Ubuntu, Debian, Fedora 等)

  2. 硬件要求： 这是决定你能流畅运行多大模型、推理速度有多快的最关键因素。

    • 内存 (RAM): 这是运行大型模型的基础。模型的大小通常以参数量（例如 7B, 13B, 70B）衡量，参数量越大，所需的内存越多。
      • 最低要求: 推荐至少 8 GB。运行小型模型（如 3B 或 7B 的量化版本）可能勉强够用。
      • 建议配置: 16 GB 或更多。这能让你更流畅地运行 7B、13B 甚至一些 30B 的量化模型。
      • 更高配置: 32 GB 或更多。对于 30B 以上的模型或运行多个模型实例会非常有帮助。
    • 图形处理器 (GPU): 虽然 Ollama 可以在只有 CPU 的情况下运行模型，但 GPU 的并行计算能力对提高推理速度至关重要，尤其是对于较大的模型。
      • NVIDIA GPU: 推荐使用 NVIDIA GPU，需要支持 CUDA，并安装相应的驱动程序。显存 (VRAM) 大小直接决定了你能将模型加载到 GPU 中多少比例，进而影响速度。推荐 6 GB VRAM 或更多。显存越多，能加载的模型越大，速度越快。
      • AMD GPU: Ollama 对 AMD GPU 的支持正在不断改进，通常在 Linux 上支持较好，需要安装 ROCm 或其他兼容的驱动。
      • macOS (Apple Silicon): Apple M 系列芯片（M1, M2, M3等）拥有强大的神经引擎和统一内存架构，对本地运行大模型非常友好，性能表现优异。Ollama 对 macOS 的支持非常好，可以直接利用 Metal 框架进行硬件加速，无需额外的驱动安装。
      • Intel GPU: 对 Intel GPU 的支持也在进行中，但目前可能不如 NVIDIA 或 Apple Silicon 成熟。
    • 存储空间： 模型文件可能非常大（从几 GB 到几十 GB 不等）。你需要确保有足够的磁盘空间来存储你想要下载的模型。

总结硬件要求： 如果你想获得良好的体验，特别是运行中等或大型模型，一块具备一定显存（≥6GB）的独立显卡（NVIDIA 或 AMD）或使用 Apple M 系列芯片的 Mac 是非常推荐的。如果只有 CPU，你仍然可以使用 Ollama，但推理速度可能会比较慢，特别是对于参数量较大的模型。

在确认你的系统满足要求后，我们就可以开始下载和安装过程了。

Ollama 下载与安装步骤

Ollama 的安装过程根据不同的操作系统略有差异，但都非常简单直观。

1. 在 macOS 上安装 Ollama

macOS 用户安装 Ollama 是最简单的，因为 Ollama 提供了原生的图形界面安装程序。

步骤：

  1. 访问官方网站： 打开你的网络浏览器，访问 Ollama 的官方网站：https://ollama.com/
  2. 下载安装包： 在网站首页，你会看到一个明显的“Download”或“Download for macOS”按钮。点击它。网站会自动识别你的操作系统并提供相应的下载链接。下载的文件是一个 .dmg 格式的磁盘映像文件。
  3. 打开 DMG 文件： 下载完成后，找到 .dmg 文件（通常在“下载”文件夹里），双击打开它。
  4. 安装应用程序： 打开 DMG 后，你会看到一个窗口，里面有一个 Ollama 的图标和一个“Applications”（应用程序）文件夹的快捷方式。将 Ollama 图标拖拽到“Applications”文件夹中。
  5. 启动 Ollama： 安装完成后，关闭 DMG 窗口并将其弹出（右键点击桌面上的 Ollama 磁盘映像图标，选择“弹出”）。然后，打开“应用程序”文件夹，找到 Ollama 图标，双击启动它。
  6. 完成首次运行设置： 首次启动时，macOS 可能会询问你是否确定要打开从互联网下载的应用程序。点击“打开”。Ollama 会在后台启动一个服务，并在菜单栏（屏幕右上角）显示一个图标。点击菜单栏的 Ollama 图标，通常会看到“Ollama is running”或类似的字样，这表明 Ollama 服务已成功启动。

使用命令行： macOS 用户也可以通过终端与 Ollama 交互。打开“终端”应用程序，Ollama 命令 (ollama) 应该已经被添加到你的系统路径中，可以直接使用了。

  • 验证安装： 在终端输入 ollama --version，如果显示 Ollama 的版本号，则表示安装成功。
  • 查看可用命令： 输入 ollama --help 可以查看所有可用的 Ollama 命令。

2. 在 Windows 上安装 Ollama

Windows 用户可以选择使用 Ollama 提供的原生安装程序，或者通过适用于 Linux 的 Windows 子系统 (WSL 2) 来安装 Linux 版本的 Ollama。原生安装程序更加简单，而 WSL 2 提供了更接近 Linux 环境的体验，有时在 GPU 支持方面可能更有优势（取决于配置）。我们主要介绍原生的 Windows 安装方法。

步骤 (原生 Windows 安装):

  1. 访问官方网站： 打开你的网络浏览器，访问 Ollama 的官方网站：https://ollama.com/
  2. 下载安装包： 在网站首页，你会看到“Download”按钮。网站会识别你的 Windows 系统，并提供 .exe 格式的安装程序下载链接。点击下载。
  3. 运行安装程序： 下载完成后，找到 .exe 文件（通常在“下载”文件夹里），双击运行它。
  4. 接受许可协议： 安装向导会启动。阅读并接受软件许可协议，然后点击“Next”。
  5. 选择安装位置 (可选): 通常建议使用默认的安装位置。点击“Install”开始安装。
  6. 等待安装完成： 安装程序会自动将 Ollama 的文件复制到你的系统中，并设置必要的服务。这个过程可能需要几分钟。
  7. 完成安装： 安装完成后，点击“Finish”退出安装向导。Ollama 服务会在后台自动启动。
  8. 验证安装： Ollama 通常会在系统托盘（任务栏右侧的通知区域）显示一个图标。你可以右键点击该图标查看状态。要使用命令行与 Ollama 交互，打开“命令提示符”或“PowerShell”应用程序。
    • 验证安装： 在命令行输入 ollama --version，如果显示 Ollama 的版本号，则表示安装成功。
    • 查看可用命令： 输入 ollama --help 可以查看所有可用的 Ollama 命令。

关于 Windows + WSL 2 安装：

如果你已经安装并配置了 WSL 2 (推荐使用 Ubuntu 或 Debian 等发行版)，你也可以在 WSL 2 环境中按照 Linux 的安装方法来安装 Ollama。这种方式的优点在于，WSL 2 提供了良好的 Linux 环境，并且通过 WSLg 可以支持图形界面应用，通过 CUDA on WSL 2 可以支持 NVIDIA GPU 加速。如果你熟悉 Linux 命令行，并且希望获得更一致的跨平台体验，可以考虑这种方式。

WSL 2 安装 Ollama 步骤简述：

  1. 确保你的 Windows 系统已安装并配置了 WSL 2，并且安装了一个 Linux 发行版。
  2. 启动你的 WSL 终端。
  3. 按照下一节“在 Linux 上安装 Ollama”的步骤，在 WSL 终端中执行安装脚本。
  4. 安装完成后，Ollama 服务将在 WSL 环境中运行。你可以在 WSL 终端中使用 ollama 命令。如果你需要从 Windows 原生环境访问 Ollama 服务，可能需要进行额外的网络配置。

3. 在 Linux 上安装 Ollama

Linux 用户主要通过执行一个简单的 shell 脚本来安装 Ollama。这个脚本会自动下载 Ollama 的二进制文件，设置系统服务，并将当前用户添加到 ollama 用户组，以便用户可以直接运行 ollama 命令而无需 root 权限。

步骤：

  1. 打开终端： 打开你的 Linux 发行版中的终端应用程序。

  2. 下载并运行安装脚本： 在终端中粘贴并执行以下命令：

    bash
    curl https://ollama.com/install.sh | sh

    • 命令解释：
      • curl https://ollama.com/install.sh: 使用 curl 命令从 Ollama 官方网站下载安装脚本。
      • |: 这是一个管道符，它将 curl 命令的输出（即下载的脚本内容）作为输入传递给下一个命令。
      • sh: 执行作为输入的 shell 脚本。

  3. 等待安装完成： 脚本会自动检测你的系统架构，下载对应的 Ollama 二进制文件，将其安装到 /usr/local/bin/ 目录，创建一个名为 ollama 的系统服务（通常使用 systemd），并将执行该脚本的用户添加到 ollama 用户组。安装过程中，你可能会看到一些输出信息，指示下载进度和安装步骤。

  4. 验证安装： 脚本执行完成后，Ollama 服务应该已经在后台运行了。为了让当前用户组的变更生效（能够直接使用 ollama 命令），你可能需要：
    • 重新登录你的用户会话： 这是最彻底的方式，可以确保用户组变更完全生效。
    • 或者使用 newgrp ollama 命令： 在当前终端会话中执行 newgrp ollama。这会创建一个新的 shell 会话，其中当前用户已经拥有 ollama 组的权限。如果你选择这种方式，请注意，在这个新的 shell 中执行的 ollama 命令将有效，但如果你打开新的终端窗口，可能仍需重新登录或再次使用 newgrp。
    • 检查服务状态 (可选): 你可以使用以下命令检查 ollama 服务的运行状态（如果你的系统使用 systemd）：
      bash
      systemctl status ollama
      输出应该显示服务是“active (running)”。如果不是，可以使用 systemctl start ollama 启动它。
  5. 使用 ollama 命令： 在你已经验证用户组权限或重新登录的终端中，输入 ollama --version。如果显示 Ollama 的版本号，则表示安装成功。
    • 查看可用命令： 输入 ollama --help 可以查看所有可用的 Ollama 命令。

可能遇到的问题 (Linux):

  • curl: command not found: 你的系统可能没有安装 curl。使用你的发行版包管理器安装它（例如，Debian/Ubuntu: sudo apt update && sudo apt install curl；Fedora: sudo dnf install curl）。
  • 权限问题： 确保当前用户有权限执行 curl 和 sh 命令。安装脚本会请求 root 权限（通过 sudo），并在安装完成后设置用户组权限。
  • ollama: command not found after install: 这通常是因为用户组变更未生效。请尝试重新登录，或使用 newgrp ollama。
  • 服务启动失败： 检查 systemctl status ollama 的输出，查找具体的错误信息。可能是端口被占用、权限问题或依赖项缺失。

安装完成后的操作：运行第一个模型

安装并验证 Ollama 成功运行后，接下来最令人兴奋的步骤就是下载并运行你的第一个大型语言模型了。

Ollama 使用 ollama run <model_name> 命令来执行这个过程。如果本地没有指定名称的模型，它会自动从 Ollama 的模型库下载。

步骤：

  1. 打开终端或命令行界面： 根据你的操作系统，打开 macOS 的终端、Windows 的命令提示符/PowerShell，或者 Linux 的终端/WSL 终端。

  2. 运行一个模型： 输入 ollama run <model_name> 命令。例如，我们可以运行一个流行的、相对较小的模型 llama2：

    bash
    ollama run llama2

  3. 等待模型下载 (如果需要): 如果你第一次运行 llama2，Ollama 会检测到本地没有这个模型，然后开始下载。终端会显示下载进度：

    pulling manifest
    pulling 00e1f2a15493
    pulling 8f423e09c5f2
    pulling 2d0f5f3b2b0f
    ... (显示下载层和进度的信息) ...

    模型文件通常比较大，下载时间取决于你的网络速度。
    4. 与模型互动： 下载完成后，或者如果模型已经存在于本地，Ollama 会加载模型并在终端中进入交互模式。你会看到一个提示符，通常是 >>> 或类似的符号，表示你可以开始输入问题或指令了：

    “`

    “`

    现在，你可以像与在线聊天机器人一样，在提示符后输入你的问题，然后按回车键。例如：

    “`

    你能自我介绍一下吗？
    “`

    模型会处理你的输入，并在终端中输出它的回答。
    5. 继续对话或退出： 你可以继续输入问题进行多轮对话。当你想结束与当前模型的对话时，可以输入 /bye 并按回车，或者按下 Ctrl + D。

    “`bash

    /bye
    “`

    或者

    bash
    ^D (按下 Ctrl 和 D 键)

    退出后，你会回到系统的命令行提示符。

常用的 Ollama 模型命令：

  • ollama run <model_name>: 运行指定的模型。如果模型不存在，则先下载。
  • ollama pull <model_name>: 只下载指定的模型，不立即运行。
  • ollama list: 列出所有已经下载到本地的模型。
  • ollama rm <model_name>: 删除指定的本地模型文件。
  • ollama create <model_name> -f Modelfile: 使用自定义的 Modelfile 创建一个新模型。
  • ollama serve: 手动启动 Ollama 服务（通常安装后服务会自动启动）。

常见问题与故障排除

在下载和安装过程中，你可能会遇到一些问题。以下是一些常见问题及其解决方案：

  1. Q: ollama: command not found
    • A: 这意味着 ollama 命令没有在系统的 PATH 环境变量中，或者（在 Linux 上）你的用户没有加入 ollama 用户组并且用户组变更未生效。
      • Windows/macOS: 检查 Ollama 是否正确安装，并且安装目录是否已添加到 PATH。重新启动终端或计算机有时也能解决。
      • Linux: 检查安装脚本是否成功执行。确认当前用户是否在 ollama 用户组中（可以查看 /etc/group 文件）。如果已加入，尝试重新登录用户会话，或者在当前终端中使用 newgrp ollama。
  2. Q: 模型下载速度非常慢或下载失败。
    • A: 这通常是网络问题。
      • 检查你的网络连接是否稳定。
      • 如果你在使用代理，确保代理设置正确。Ollama 支持通过环境变量 ALL_PROXY 和 NO_PROXY 配置代理。
      • 防火墙可能阻止了 Ollama 的网络连接。检查并配置防火墙规则，允许 Ollama 进程访问外部网络。
      • Ollama 服务器可能暂时有问题。可以稍后再试。
  3. Q: 运行模型时提示内存或显存不足。
    • A: 你尝试运行的模型对于你的硬件配置（特别是 RAM 或 VRAM）来说太大了。
      • 检查你的系统 RAM 和 GPU 显存大小。
      • 尝试运行一个参数量更小、或者经过更高程度量化的模型（例如，从 llama2 7B 切换到 llama2 3B，或者选择带有 q4, q2 等后缀的量化版本）。你可以在 Ollama 模型库页面查找不同大小和量化级别的模型。
  4. Q: GPU 加速没有生效，模型运行非常慢。
    • A: Ollama 可能没有正确检测到你的 GPU，或者 GPU 驱动有问题。
      • NVIDIA: 确保你安装了最新且与你的 GPU 兼容的 NVIDIA 驱动程序。检查 CUDA Toolkit 是否正确安装和配置（尽管 Ollama 通常自带必要的库，但有时系统级的 CUDA 环境也会影响）。
      • AMD: 确保你安装了 ROCm 或兼容的驱动，并且你的 GPU 型号受支持。
      • macOS: 确保你的系统版本支持 Metal，且使用的是 Apple Silicon。Ollama 在 macOS 上应默认利用 Metal 进行加速。
      • 查看 Ollama 的日志输出（有时在终端运行 ollama serve 可以看到更详细的启动日志），看是否有关于 GPU 检测的警告或错误信息。
  5. Q: 在 Windows 上安装失败。
    • A: 检查你的 Windows 版本是否满足要求（Windows 10 或 11）。确保你具有管理员权限来运行安装程序。尝试暂时关闭防火墙或杀毒软件后重新安装（安装完成后再重新开启）。
  6. Q: 在 Linux 上 Ollama 服务没有自动启动。
    • A: 检查 systemctl status ollama 的输出。如果服务处于非活动状态，尝试手动启动：sudo systemctl start ollama。如果启动失败，查看日志 (journalctl -u ollama) 获取更多信息。可能是安装脚本没有执行完全，或者系统中存在其他配置冲突。

进一步探索

成功安装 Ollama 并运行了你的第一个模型后，你可以：

  • 探索更多模型： 访问 Ollama 官网的模型库页面 (https://ollama.com/library)，查找你感兴趣的其他模型，然后使用 ollama pull <model_name> 下载并使用它们。
  • 自定义模型： 学习如何使用 Modelfile 来创建或修改模型的行为，例如设置系统提示词、调整参数等。
  • 使用 API： Ollama 提供了一个本地的 REST API (http://localhost:11434)，允许开发者将本地运行的大模型集成到自己的应用程序中。
  • 使用 Web UI： 虽然 Ollama 本身没有内置图形界面，但有一些社区开发的 Web UI 项目可以与 Ollama 后端连接，提供更友好的聊天界面。

结语

Ollama 为我们在本地运行大型语言模型打开了一扇便捷的大门。通过遵循本指南的步骤，无论你是使用 macOS、Windows 还是 Linux，都可以轻松地下载、安装并开始体验在个人设备上运行这些强大模型带来的便利和可能性。从保护隐私到降低成本，从离线可用到提升速度，Ollama 让大模型技术不再遥不可及。现在，就开始你的本地大模型之旅吧！

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部