如何创建 Conda 环境：详细教程 – wiki基地

作者： /

如何创建 Conda 环境：详细教程

在数据科学、机器学习、软件开发等领域，我们经常需要使用 Python 或 R 等语言及其相关的各种库和工具。然而，不同的项目可能需要不同版本的同一个库，或者需要特定版本的 Python 本身。例如，一个旧项目可能依赖 pandas 1.0，而一个新项目则需要 pandas 2.0。如果在同一个环境中安装这两个版本，就会产生冲突，导致项目无法正常运行，这被称为“依赖地狱”（Dependency Hell）。

Conda，作为一种开源的包管理系统和环境管理系统，正是为了解决这个问题而诞生的。它不仅可以安装、运行和更新包及其依赖项，还能创建独立的环境，让每个环境拥有自己的一套 Python/R 版本和库集合。

本篇文章将详细介绍如何使用 Conda 创建、激活、管理和共享环境，帮助你彻底告别依赖地狱，实现项目间的隔离和可重复性。

什么是 Conda 环境？为什么需要它？

想象一下，你的操作系统是你的房子。在房子里，你可能会有不同的房间：书房、卧室、厨房等。每个房间都有特定的功能和物品。

在软件世界里，你的操作系统也是一个大环境。你在其中安装各种软件和库。如果没有环境管理，所有的 Python 库、R 库、甚至是 Python/R 解释器本身，都安装在同一个地方。这就像把书房的书、厨房的厨具、卧室的床都堆在客厅一样混乱。

Conda 环境就像是你在房子里划分出的一个个独立的房间。每个 Conda 环境都是一个隔离的空间，拥有自己独立的 Python/R 解释器、安装的库以及它们各自的版本。

为什么需要 Conda 环境？

  1. 解决依赖冲突： 这是最主要的原因。不同的项目可以拥有完全独立的依赖关系。项目 A 使用 numpy 1.18，项目 B 使用 numpy 1.24？没问题，为每个项目创建一个独立的 Conda 环境即可。
  2. 保证项目可重复性： 如果你的项目使用了特定版本的库，通过 Conda 环境文件（environment.yml），你可以精确地记录下项目所需的所有依赖及其版本。这样，无论何时何地，任何人都可以根据这个文件重建完全相同的环境，确保项目在不同机器上都能以相同的方式运行。这对于团队协作、结果验证和科学研究至关重要。
  3. 轻松切换项目： 当你在不同项目之间切换时，只需要激活对应的 Conda 环境，就可以立即访问该项目所需的正确工具集。
  4. 避免污染系统环境： 将项目依赖安装在独立的 Conda 环境中，可以避免修改或污染操作系统的 Python 或 R 安装，保持系统的稳定性和整洁。
  5. 测试不同库版本： 如果你想测试某个库的新版本是否会影响你的代码，可以在一个新的环境中安装新版本进行测试，而不影响当前工作的环境。

简单来说，使用 Conda 环境是现代数据科学和软件开发的最佳实践。它让你的工作更加有序、可控和可重复。

前提条件

在开始创建 Conda 环境之前，你需要确保已经在你的计算机上安装了 Conda。Conda 通常随 Anaconda 或 Miniconda 一起安装。

  • Anaconda: 包含了 Conda 以及许多常用的数据科学库（如 NumPy, Pandas, Scikit-learn 等），安装文件较大。
  • Miniconda: 只包含 Conda 和其少量基本依赖，安装文件小巧，适合按需安装库。

如果你还没有安装 Conda，请访问 Anaconda 或 Miniconda 的官方网站下载并安装适合你操作系统的版本。安装完成后，打开你的终端或命令提示符，输入 conda --version。如果能显示 Conda 的版本号，说明安装成功并已添加到系统 PATH 中。

重要提示: 首次安装或更新 Conda 后，你可能需要关闭并重新打开终端，或者运行 conda init 命令（Conda 会提示你运行此命令）来正确配置你的 shell。

Conda 环境的基本操作

接下来，我们将学习 Conda 环境最基本和常用的操作。

1. 查看已有的 Conda 环境

在创建新环境之前，了解当前系统中有哪些环境是非常有用的。你可以使用以下命令：

bash
conda env list

或者

bash
conda info --envs

这两个命令都会列出你系统上所有的 Conda 环境。输出通常会像这样：

“`

conda environments:

base * /Users/your_username/miniconda3
my_project_env /Users/your_username/miniconda3/envs/my_project_env
another_env /Users/your_username/miniconda3/envs/another_env
“`

  • 列表中的每一行代表一个环境。
  • base 是 Conda 默认创建的基础环境，不建议在这个环境中安装大量库，除非你明确知道其后果。
  • 带有星号（*）的环境表示当前处于激活状态的环境。
  • 右边的路径是环境所在的安装位置。

2. 创建新的 Conda 环境

创建环境是使用 Conda 的核心操作之一。conda create 命令用于此目的。

基本语法：

bash
conda create --name <env_name>

或者使用缩写 -n：

bash
conda create -n <env_name>

<env_name>是你希望给新环境命名的名称。建议使用具有描述性的名称，例如项目名称或用途。

示例：创建一个名为 myenv 的环境

bash
conda create -n myenv

运行这个命令后，Conda 会进行以下步骤：

  1. Collecting package metadata (信息收集): Conda 会连接到其配置的软件源（channels），查找创建环境所需的基本软件包（如 Python、pip 等）的信息。
  2. Solving environment (环境求解): Conda 会分析这些软件包及其依赖关系，尝试找到一个兼容的组合来构建环境。这是 Conda 强大的地方，它可以避免依赖冲突。
  3. Download and Install (下载并安装): Conda 会列出需要下载和安装的软件包，并询问你是否继续（Proceed ([y]/n)?）。输入 y 并按 Enter 即可开始下载和安装。

创建时指定 Python 版本：

很多时候，你需要为特定项目使用特定版本的 Python。在创建环境时指定 Python 版本是一个非常好的习惯。

bash
conda create -n myenv python=3.9

这会创建一个名为 myenv 的环境，并安装 Python 3.9。你可以将 3.9 替换为你需要的任何 Python 版本，例如 python=3.7 或 python=3.10。

你甚至可以指定更精确的版本，例如 python=3.9.12。如果 Conda 能找到该精确版本，就会安装它；否则，会尝试安装符合 3.9.* 的最新版本。

创建时安装初始软件包：

你可以在创建环境的同时安装一些常用的或项目必需的软件包。这可以节省你在激活环境后再单独安装它们的时间。

bash
conda create -n myenv python=3.9 numpy pandas scikit-learn

这个命令会创建一个名为 myenv 的环境，安装 Python 3.9，以及 numpy, pandas, 和 scikit-learn 这三个库的兼容版本。Conda 会自动解决这些库及其依赖的兼容性问题。

你也可以指定软件包的版本：

bash
conda create -n myenv python=3.8 numpy=1.20 pandas=1.3

这会尝试安装 numpy 的 1.20 版本和 pandas 的 1.3 版本（以及与之兼容的 Python 3.8）。

强制创建或不询问：

  • 如果你想强制创建环境，即使名称已存在（它会先删除再创建），可以使用 --force 标志（不常用，需谨慎）。
  • 如果你想跳过“Proceed ([y]/n)?”的询问，直接安装，可以使用 --yes 或 -y 标志。注意：对于初学者，建议先不使用 -y，以便看到 Conda 计划安装哪些软件包。

bash
conda create -n myenv python=3.9 -y

3. 激活 Conda 环境

创建环境后，你需要“激活”它才能使用其中安装的 Python 和库。激活环境会将该环境的路径添加到你系统的 PATH 环境变量中，使得你在终端中输入的命令（如 python, pip）指向该环境中的可执行文件。

激活环境的命令：

bash
conda activate <env_name>

示例：激活刚才创建的 myenv 环境

bash
conda activate myenv

如果成功激活，你的终端提示符通常会显示当前环境的名称（例如 (myenv) $ 或 (myenv) >），表示你现在正在 myenv 环境中工作。

现在，如果你输入 python --version 或 which python (在 Linux/macOS) / where python (在 Windows)，你会看到它指向的是 myenv 环境中的 Python 解释器。使用 pip list 或 conda list 命令会显示该环境中安装的软件包。

激活 base 环境：

要返回到基础环境，你可以激活 base 环境：

bash
conda activate base

4. 退出/关闭 Conda 环境 (Deactivate)

当你完成在某个环境中的工作，或者想切换到另一个环境时，你需要退出当前环境。

退出环境的命令：

bash
conda deactivate

这个命令会移除当前环境的路径从你的 PATH 环境变量中，通常会将你返回到激活该环境之前的状态（可能是 base 环境，或者如果你连续激活了多个环境，则返回到上一个环境）。终端提示符前的环境名称也会消失。

重要说明:

  • 在较旧的 Conda 版本或某些 shell 配置中，你可能还会看到 source activate <env_name> 和 source deactivate。然而，conda activate 和 conda deactivate 是 Conda 4.4+ 版本推荐的现代用法，它们更强大且跨平台兼容性更好。请优先使用 conda activate/deactivate。

5. 查看环境中安装的软件包

激活某个环境后，你可以查看该环境中安装了哪些软件包及其版本。

bash
conda list

这个命令会列出当前激活环境中所有通过 Conda 或 pip 安装的软件包。输出通常包括软件包名称、版本、构建信息以及安装来源（channel）。

如果你想查看某个特定环境的软件包，而不激活它，可以使用：

bash
conda list -n <env_name>

例如：

bash
conda list -n myenv

6. 删除 Conda 环境

当你不再需要某个环境时，可以将其删除以释放磁盘空间。

删除环境的命令：

bash
conda env remove --name <env_name>

或者

bash
conda remove --name <env_name> --all

示例：删除 myenv 环境

bash
conda env remove --name myenv

Conda 会列出将要删除的文件和目录，并要求你确认（Proceed ([y]/n)?）。输入 y 并按 Enter 即可删除该环境及其所有内容。

注意： 你不能删除当前激活的环境。如果你想删除当前环境，需要先 conda deactivate 退出，或者激活另一个环境，然后再执行删除命令。

删除环境中的特定包：

如果你只想删除环境中的某个包而不是整个环境，可以激活环境后使用：

bash
conda remove <package_name>

或者不激活环境，指定环境名称：

bash
conda remove -n <env_name> <package_name>

使用环境文件管理 Conda 环境 (推荐方式)

虽然可以直接使用 conda create 命令创建和管理环境，但对于需要与他人共享环境配置、或者需要在不同时间点重复创建相同环境的场景，使用环境文件（通常命名为 environment.yml）是更加强大和推荐的方式。

环境文件是一个 YAML 格式的文件，它以结构化的方式定义了环境的名称、使用的 channels 以及所需的依赖包。

1. 创建环境文件 (environment.yml)

环境文件通常包含以下几个部分：

  • name: 环境的名称。
  • channels: Conda 查找软件包的仓库列表。defaults 是 Conda 的默认仓库，conda-forge 是一个社区维护的、包含大量软件包的仓库。列表中 channel 的顺序很重要，Conda 会按照列出的顺序从上到下查找软件包。
  • dependencies: 需要安装的软件包列表。这里可以指定软件包名称，也可以指定特定版本。还可以包含通过 pip 安装的软件包。

这是一个典型的 environment.yml 示例：

yaml
name: my_project_env
channels:
- conda-forge
- defaults
dependencies:
- python=3.8
- numpy>=1.20
- pandas=1.4.2
- scikit-learn
- matplotlib
# 可以指定pip包
- pip
- pip:
- tensorflow==2.9.1
- flask

文件内容说明：

  • name: my_project_env：定义了环境的名称为 my_project_env。
  • channels:：定义了查找软件包的 channels 列表。这里先查找 conda-forge，如果找不到，再查找 defaults。
  • dependencies:：列出了主要的依赖。
    • python=3.8: 精确指定 Python 版本为 3.8。
    • numpy>=1.20: 指定 numpy 版本大于或等于 1.20。
    • pandas=1.4.2: 精确指定 pandas 版本为 1.4.2。
    • scikit-learn: 安装最新兼容版本的 scikit-learn。
    • matplotlib: 安装最新兼容版本的 matplotlib。
    • pip: 为了在 Conda 环境中使用 pip 安装 Python 包，通常需要将 pip 本身也作为依赖包含进来。
    • pip: 下面嵌套的列表是使用 pip 安装的包及其版本。这些包会通过环境中的 pip 而非 conda 进行安装。

将上述内容保存为一个名为 environment.yml 的文件，通常放在你的项目根目录下。

2. 从环境文件创建环境

有了 environment.yml 文件后，可以在该文件所在的目录下使用以下命令创建环境：

bash
conda env create -f environment.yml

  • -f: 指定要使用的环境文件。

Conda 会读取文件，然后按照文件中指定的名称、channels 和依赖来创建环境。如果环境中已存在同名环境，这个命令会报错。你可以使用 --force 标志强制删除并重建，但需谨慎。

3. 更新已有的环境（使用环境文件）

如果你的项目依赖发生了变化（添加、删除或更新了库），你可以修改 environment.yml 文件，然后使用以下命令更新 已存在 的环境：

bash
conda env update -f environment.yml

这个命令会检查当前环境（如果你在环境中运行）或指定环境（如果你使用 -n <env_name>）与 environment.yml 文件中定义的依赖之间的差异，并进行相应的安装、删除或更新操作。

4. 导出当前环境到文件

当你成功配置好一个环境，并且希望记录下它的确切状态或者与他人分享时，可以将当前环境导出为一个 environment.yml 文件。

首先，激活你想要导出的环境：

bash
conda activate my_project_env

然后，使用以下命令导出：

bash
conda env export > environment.yml

  • conda env export: 输出当前环境的详细配置信息到标准输出。
  • >: 将标准输出重定向到指定文件。

导出的文件会非常详细，包括所有软件包的精确版本和构建信息。示例输出片段可能如下：

yaml
name: my_project_env
channels:
- conda-forge
- defaults
dependencies:
- _libgcc_mutex=0.1=conda_forge
- _openmp_mutex=4.5=2_gnu
- bzip2=1.0.8=h7f98852_4
- ca-certificates=2022.6.15=ha878542_0
# ... 其他conda包 ...
- python=3.8.13=hffdb5ce_0_cpython
- readline=8.1.2=h0f457ee_0
- setuptools=63.4.1=py38hffdb5ce_0
# ... pip包 ...
- pip:
- flask==2.1.2
- markupsafe==2.1.1
- tensorflow==2.9.1

导出时的注意事项：

  • 平台差异： 导出的文件会包含平台相关的构建信息（build strings）。这意味着在 Windows 上导出的文件，可能无法在 Linux 或 macOS 上完全无误地重建相同的环境。

  • 提高跨平台兼容性： 如果你主要关注依赖包的名称和版本，不严格要求构建信息，可以使用 --no-builds 标志来导出更简洁、更具跨平台兼容性的文件：

    bash
    conda env export --no-builds > environment.yml
    导出的文件将不包含构建信息，更适合在不同操作系统之间共享和重建环境。但请注意，这可能会导致在不同平台上安装到功能上有微小差异的版本。

通常，在一个项目的生命周期中，你会：

  1. 手动创建初始环境并安装一些核心依赖。
  2. 在开发过程中，使用 conda install <package> 或 pip install <package> 添加新依赖。
  3. 随时使用 conda env export --no-builds > environment.yml 更新环境文件，以记录当前的依赖状态。
  4. 提交 environment.yml 文件到版本控制系统（如 Git）。
  5. 在另一台机器或与协作者共享时，他们可以使用 conda env create -f environment.yml 来重建环境。

Conda 环境的高级话题与最佳实践

1. 指定 Channel

Conda 通过 channels 来查找和下载软件包。默认的 channel 是 defaults，但 conda-forge 是一个非常流行且包含更多软件包的社区维护 channel。

  • 创建环境时指定 channel：

    bash
    conda create -n myenv python=3.9 -c conda-forge package_from_conda_forge
    -c 标志用于指定 channel。你可以多次使用 -c 来指定多个 channel，它们将按照指定的顺序进行搜索。

  • 在 environment.yml 中指定 channels： 如前所示，在 environment.yml 文件中明确列出 channels 是推荐的方式，因为它记录了包的来源，提高了环境的可重复性。Channels 列表的顺序决定了搜索的优先级。

2. 克隆环境

如果你想创建一个与现有环境几乎相同的新环境，但可能想做一些小的修改或实验，克隆环境是一个快捷的方式。

bash
conda create --name <new_env_name> --clone <existing_env_name>

示例：克隆 my_project_env 到 my_project_env_test

bash
conda create --name my_project_env_test --clone my_project_env

3. 命名规范

给你的 Conda 环境一个清晰、有意义的名称是很好的习惯。常见的命名方式包括：

  • 项目名称： my_cool_project
  • 用途或技术栈： data_analysis_env, dl_gpu_env, web_dev_env
  • Python 版本 + 用途： python38_nlp, py39_ml
  • 结合项目和 Python 版本： projectA_py37, projectB_py39

4. pip 与 Conda 的结合使用

Conda 是一个更通用的包管理器，它可以安装各种语言的包（Python, R, Julia 等）以及非语言的软件（如 HDF5, MKL 等）。Pip 则是 Python 官方推荐的包管理器，主要用于安装 Python 包。

在一个 Conda 环境中，你可以同时使用 conda install 和 pip install 来安装软件包。

  • 优先使用 conda install： 当一个包在 Conda channels 中可用时，优先使用 conda install 来安装。Conda 会更好地处理二进制依赖和系统级库，也能更好地解决复杂的依赖关系。
  • 使用 pip install 作为补充： 如果一个 Python 包在 Conda channels 中不可用，你可以在激活 Conda 环境后使用 pip install <package> 来安装它。Pip 会将包安装到当前激活的 Conda 环境的 site-packages 目录下。
  • 在 environment.yml 中集成 pip 依赖： 如前所示，你可以在 environment.yml 文件的 dependencies 部分使用 pip: 列表来指定需要通过 pip 安装的包。这是管理混合依赖的最佳方式。

5. 保持 Conda 和环境的更新

Conda 本身也在不断发展和改进。定期更新 Conda 可以获得新功能、 bug 修复和更好的性能。

bash
conda update conda

或者更新所有安装的 Conda 包（包括 Conda 自身和基础环境中的其他包）：

bash
conda update --all

在你的环境中，定期更新软件包也是一个好习惯（但要注意可能引入不兼容的改动）：

bash
conda activate <env_name>
conda update --all

6. 检查环境的完整性

有时环境可能会出现问题。你可以使用以下命令检查环境是否存在问题：

bash
conda check --validate
（通常在 base 环境或未激活任何环境时运行）

这个命令会检查 Conda 安装以及各环境的元数据和文件结构。

常见问题与故障排除

  • 命令未找到 (command not found): 确保 Conda 已正确安装，并且其安装目录已添加到你的系统 PATH 环境变量中。安装 Conda/Miniconda 时的安装向导通常会处理这一点。如果手动安装或升级后出现问题，可能需要运行 conda init 并重启终端。
  • 环境激活后提示符未改变： 这可能是 shell 配置问题。conda init 命令会尝试配置你的 shell (bash, zsh, PowerShell 等)。运行 conda init <your_shell_name> (例如 conda init bash)，然后关闭并重新打开终端。
  • 软件包找不到 (PackagesNotFoundError): Conda 在配置的 channels 中找不到请求的软件包。
    • 检查软件包名称是否拼写正确。
    • 确认软件包存在于你配置的 channels 中。可能需要添加 conda-forge 或其他特定的 channel (-c channel_name)。
    • 你请求的版本可能不存在。尝试不指定版本或指定一个版本范围。
  • 依赖冲突 (UnsatisfiableError): Conda 无法找到一个满足所有依赖要求的软件包组合。这通常发生在你请求了相互冲突的特定版本时（例如，包 A 要求 Python < 3.8，而你同时要求 Python = 3.9）。
    • 尝试放宽版本限制。
    • 检查你添加的 channels 是否导致冲突。
    • 尝试从更少的包开始创建环境，然后逐步添加。
    • 有时创建全新的环境可以解决问题。
  • 下载速度慢： Conda 从 channels 下载软件包。如果速度慢，可能是网络问题或 channel 服务器负载高。你可以考虑更换 channels 或配置 Conda 使用镜像。
  • 磁盘空间不足： Conda 环境，特别是包含大量科学计算库的环境，会占用 상당한 磁盘空间。定期清理不再需要的环境（conda env remove）和 Conda 的缓存（conda clean --all）可以释放空间。

总结

掌握 Conda 环境的使用是高效进行数据科学和软件开发的关键技能之一。通过创建独立的环境，你可以：

  • 彻底解决不同项目之间的依赖冲突。
  • 保证项目运行环境的可重复性，方便协作和部署。
  • 轻松切换不同的项目和技术栈。
  • 保持系统环境的整洁。

本文详细介绍了 Conda 环境的创建、激活、管理、删除，并重点强调了使用环境文件 (environment.yml) 的重要性和方法。同时，也涵盖了一些高级话题和常见问题的解决。

从现在开始，养成习惯为你的每一个新项目或不同技术要求的任务创建独立的 Conda 环境吧！它将极大地提升你的工作效率和代码的可维护性。不断实践和探索 Conda 的更多功能，你会发现它是一个非常有价值的工具。

祝你使用 Conda 愉快！

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部