NumPy 介绍与 pip 安装方法 – wiki基地

作者： /

深入理解 NumPy：核心概念与使用 pip 进行安装的详细指南

引言

在当今数据科学和机器学习领域，Python 无疑是最受欢迎的编程语言之一。它的易学性、丰富的库生态以及强大的社区支持，使其成为处理数据、构建模型和进行科学计算的首选工具。然而，Python 原生处理大规模数值数据时，由于其动态类型和列表的内部结构，效率可能不如一些专门的数值计算语言（如 MATLAB 或 R）。

这时，一个强大而核心的库应运而生，它就是 NumPy (Numerical Python)。NumPy 是 Python 中进行科学计算的基础库，它提供了一个高性能的多维数组对象以及用于处理这些数组的工具。几乎所有基于 Python 的数据科学库，包括 Pandas、SciPy、Matplotlib、scikit-learn 等，都直接或间接地依赖于 NumPy。可以说，没有 NumPy，Python 数据科学的生态将大打折扣。

本文旨在为读者提供一个深入的 NumPy 介绍，解释其核心概念，特别是其灵魂——多维数组（ndarray），并详细讲解如何使用 Python 标准的包管理器 pip 来安装 NumPy。无论您是数据科学新手，还是希望巩固基础的开发者，本文都将为您提供必要的知识。

第一部分：NumPy 的核心——ndarray

NumPy 的强大之处在于其 ndarray (n-dimensional array) 对象。这是一个用于存储同类型元素的多维数组，是 NumPy 中最重要的数据结构。与 Python 原生的列表相比，ndarray 具有显著的优势：

  1. 速度与性能: ndarray 的元素是同质的（同一数据类型），且存储在连续的内存块中。这使得 NumPy 可以在底层使用高度优化的 C 或 Fortran 代码来执行向量化操作，而无需显式的 Python 循环。这在处理大量数据时带来了巨大的性能提升。Python 列表可以包含不同类型的对象，需要存储指向这些对象的指针，这导致操作效率较低。
  2. 内存效率: ndarray 存储的是同类型元素的原始值，而不是对象的指针。这使得 ndarray 在存储大量数据时比 Python 列表占用更少的内存。
  3. 丰富的函数库: NumPy 提供了大量的数学函数（线性代数、傅里叶变换、随机数生成等）和数组操作函数（排序、过滤、形状操作等），这些函数都经过优化，可以直接作用于 ndarray，非常高效。
  4. 矢量化操作: NumPy 鼓励使用矢量化（vectorization）而非循环。这意味着许多操作可以直接应用于整个数组，而不是逐个处理元素。例如，两个 NumPy 数组相加，会对应元素相加，语法简洁且执行速度快。

ndarray 的关键特性

理解 ndarray 的几个关键特性对于使用 NumPy 至关重要：

  • 维度 (Dimensions 或 Axes): ndarray 可以是零维（标量）、一维（向量）、二维（矩阵）、三维乃至更高维度的。维度也称为轴 (axis)。一个二维数组有轴 0（行）和轴 1（列）。
  • 形状 (Shape): 数组的形状是一个整数元组，表示数组在每个维度上的大小。例如，一个 2×3 的矩阵形状是 (2, 3)。一个一维数组形状是 (n,)。
  • 数据类型 (Data Type 或 dtype): 数组中的所有元素必须是同一种数据类型。NumPy 支持多种数据类型，包括整型 (int)、浮点型 (float)、复数型 (complex)、布尔型 (bool) 以及字符串等。明确的数据类型有助于节省内存并提高计算效率。常见的 dtype 如 int64, float64。
  • 大小 (Size): 数组中元素的总个数，等于形状元组中所有元素的乘积。
  • 维度数 (Number of dimensions 或 ndim): 数组的维度个数，等于形状元组的长度。

创建 ndarray

NumPy 提供了多种创建 ndarray 的方法：

  • 从 Python 列表或元组创建：np.array([1, 2, 3]) 或 np.array([[1, 2], [3, 4]])
  • 创建全零或全一数组：np.zeros((2, 3))，np.ones((4,))
  • 创建空数组（元素值随机，未初始化）：np.empty((2, 2))
  • 创建等差数列：np.arange(0, 10, 2) (从0到10，步长为2)，np.linspace(0, 1, 5) (从0到1，均分为5份)
  • 创建随机数数组：np.random.rand(3, 2) (创建3×2的0-1随机浮点数组)，np.random.randint(0, 10, (2, 2)) (创建2×2的0-10随机整数数组)

数组索引和切片

NumPy 数组的索引和切片功能非常强大和灵活，与 Python 列表类似但提供了更多高级特性：

  • 基本索引: 使用方括号 [] 访问元素。例如，arr[0] (一维数组的第一个元素)，arr[0, 1] (二维数组的第0行第1列元素)。
  • 切片: 使用 start:stop:step 语法。例如，arr[0:2] (前两行)，arr[:, 1] (所有行的第1列)，arr[::2] (每隔一行取一行)。切片返回的是原数组的一个视图（view），修改切片会影响原数组。
  • 花式索引 (Fancy Indexing): 使用一个整数数组或列表作为索引。例如，arr[[0, 2, 1]] (按照指定的顺序取出第0、2、1行)。花式索引返回的是一个副本（copy），修改副本不会影响原数组。
  • 布尔索引 (Boolean Indexing): 使用一个与数组形状相同的布尔数组作为索引。例如，arr[arr > 5] (取出数组中所有大于5的元素)。布尔索引也返回一个副本。

数组运算

NumPy 最吸引人的特性之一是它支持对整个数组进行数学运算，而无需编写显式的循环。这些操作是元素级的：

  • 基本算术运算: +, -, *, /, %, ** (幂) 等。例如，arr1 + arr2 (对应元素相加)，arr * 2 (所有元素乘以2)。
  • 比较运算: >, <, >=, <=, ==, !=。这些运算返回一个布尔数组。例如，arr > 5。
  • 通用函数 (Universal Functions 或 ufuncs): NumPy 提供了大量的数学函数，如 np.sin(), np.cos(), np.sqrt(), np.exp(), np.log() 等，可以直接作用于数组的每个元素。
  • 聚合函数: 计算数组的统计值，如 arr.sum(), arr.mean(), arr.std(), arr.max(), arr.min() 等。这些函数可以沿着指定的轴进行计算，例如 arr.sum(axis=0) (计算每列的和)。

广播 (Broadcasting)

广播是 NumPy 允许不同形状的数组之间进行算术运算的一种机制。当执行二元运算时，NumPy 会自动调整较小数组的形状，使其能够与较大数组进行匹配，而无需复制数据。广播遵循一组严格的规则：

  1. 如果两个数组的维度数不同，维度较少的数组会在其前导维度方向（左侧）补1。
  2. 如果两个数组在某个维度上的大小一致，或者其中一个数组在该维度上的大小为1，则该维度可以进行广播。
  3. 如果两个数组在任何一个维度上的大小都不匹配，且都没有1，则广播失败，会引发错误。

理解广播可以写出更简洁、更高效的代码。例如，一个数组与一个标量相加，标量会被“广播”到数组的每一个元素。一个形状为 (3, 1) 的列向量与一个形状为 (1, 4) 的行向量相加，两者都会被广播，生成一个形状为 (3, 4) 的结果矩阵。

第二部分：为什么 NumPy 如此重要？

NumPy 不仅仅是一个独立的库，它还是整个 Python 科学计算生态系统的基石。以下是 NumPy 如此重要的几个原因：

  1. 数据表示标准: 大多数科学计算和数据分析库都使用 NumPy 数组作为其核心数据结构。Pandas 的 DataFrame 可以看作是带有行和列标签的 NumPy 数组的集合；SciPy 的函数操作的是 NumPy 数组；Matplotlib 接受 NumPy 数组作为绘图输入；scikit-learn 的输入数据通常是 NumPy 数组或兼容的数据结构。如果您处理这些库，就必须理解并使用 NumPy 数组。
  2. 性能瓶颈解决方案: 对于涉及大量数值计算的任务，Python 原生列表的性能往往是瓶颈。NumPy 提供了 C 语言级别的性能，可以有效地处理大规模数据集和复杂的计算。
  3. 简化代码: 矢量化操作和广播机制使得可以用更少的代码表达复杂的数学运算，提高了代码的可读性和开发效率。
  4. 丰富的数学和科学计算函数: NumPy 内置了大量的数学、线性代数、统计、随机数生成等功能，避免了从头实现这些基础算法。

因此，学习和掌握 NumPy 是进入 Python 数据科学、机器学习、深度学习等领域的第一步，也是至关重要的一步。

第三部分：使用 pip 安装 NumPy

现在我们了解了 NumPy 的重要性及其核心概念，下一步就是将其安装到您的 Python 环境中，以便开始使用它。在 Python 世界中，安装第三方库最常用和标准的方法是使用 pip。

什么是 pip？

pip 是 Python 的包安装程序 (package installer)。它是一个命令行工具，用于安装和管理来自 PyPI (Python Package Index，Python 包索引) 或其他索引的软件包。简单来说，pip 使得下载、安装和卸载 Python 库变得非常容易。

自 Python 3.4 版本起，pip 已经默认捆绑在 Python 安装包中。对于更早的版本，可能需要单独安装 pip，但现在绝大多数用户使用的 Python 版本都已经自带 pip 了。

安装 NumPy 的前提条件

在开始安装 NumPy 之前，您需要确保您的系统中已经满足以下条件：

  1. 安装了 Python: NumPy 支持多个 Python 版本。确保您已经正确安装了 Python，并且可以通过命令行访问到 python 或 python3 命令。
  2. 安装了 pip: 确保您的 Python 环境中已经安装了 pip，并且可以通过命令行访问到 pip 或 pip3 命令。

检查 Python 和 pip 是否已安装

您可以通过打开终端或命令提示符，输入以下命令来检查 Python 和 pip 的安装情况及其版本：

  • 检查 Python 版本：
    bash
    python --version
    # 或者在某些系统上是
    python3 --version
    如果 Python 已安装，会显示类似 Python 3.9.7 或 Python 3.10.5 的输出。

  • 检查 pip 版本：
    bash
    pip --version
    # 或者根据您使用 python 还是 python3，对应使用 pip 还是 pip3
    pip3 --version
    如果 pip 已安装，会显示类似 pip 21.2.4 from ... 的输出。它还会告诉您 pip 属于哪个 Python 环境。

如果您发现 python 或 pip 命令找不到，或者显示的不是您期望的版本，您可能需要重新安装 Python，或者检查您的系统环境变量配置。

强烈推荐使用虚拟环境 (Virtual Environments)

在安装任何 Python 包（包括 NumPy）之前，强烈建议您使用虚拟环境。虚拟环境是一个独立的 Python 环境，它允许您为不同的项目创建独立的依赖集，而不会相互干扰。这可以避免不同项目之间依赖库版本冲突的问题。

常用的创建虚拟环境的方法有：

  1. 使用 Python 内置的 venv 模块:

    • 打开终端或命令提示符。
    • 导航到您的项目目录。
    • 创建虚拟环境（例如，命名为 myenv）：
      bash
      python -m venv myenv
      # 或者
      python3 -m venv myenv
    • 激活虚拟环境：
      • 在 Windows 上：.\myenv\Scripts\activate
      • 在 macOS/Linux 上：source myenv/bin/activate

    激活虚拟环境后，您会注意到命令行提示符前面多了一个 (myenv) 字样，表示您当前处于名为 myenv 的虚拟环境中。

  2. 使用 conda (如果您安装了 Anaconda 或 Miniconda):

    • 创建虚拟环境（例如，命名为 myenv，指定 Python 版本）：
      bash
      conda create -n myenv python=3.9
    • 激活虚拟环境：
      bash
      conda activate myenv

激活虚拟环境后，您在该环境中安装的任何库都将仅存在于该环境中，不会影响到系统全局的 Python 环境或其他虚拟环境。在安装 NumPy 时，请务必先激活您希望安装 NumPy 的虚拟环境。 本文后续的安装步骤都假设您已经打开了终端并激活了相应的虚拟环境。

使用 pip 安装 NumPy 的详细步骤

一旦您激活了虚拟环境（或决定在系统全局环境安装，尽管不推荐），安装 NumPy 就非常简单了。

步骤 1：打开终端或命令提示符

如果您还没有打开，请打开您的终端 (macOS/Linux) 或命令提示符 (Windows)。如果您计划使用虚拟环境，请先导航到您的项目目录并激活虚拟环境。

步骤 2：执行安装命令

在激活的终端中，输入以下命令来安装 NumPy：

bash
pip install numpy

或者，如果您使用的是 python3 并且相应的 pip 命令是 pip3：

bash
pip3 install numpy

解释：
* pip: 调用 pip 工具。
* install: 告诉 pip 您想要执行安装操作。
* numpy: 您想要安装的包的名称。NumPy 在 PyPI 上的包名就是 numpy。

执行命令后，pip 会：
1. 连接到 PyPI (默认的 Python 包索引)。
2. 搜索名为 numpy 的最新稳定版本。
3. 下载 NumPy 包及其所有依赖项（NumPy 通常没有复杂的 Python 依赖，但可能会依赖一些底层的 C/Fortran 库，这些通常会通过预编译的 wheel 文件提供）。
4. 将下载的文件安装到当前 Python 环境（虚拟环境或系统环境）的 site-packages 目录中。

您会看到 pip 输出下载和安装的进度信息。安装成功后，会显示类似 “Successfully installed numpy-x.y.z” 的消息 (其中 x.y.z 是安装的 NumPy 版本号)。

安装指定版本的 NumPy

有时候，您可能需要安装特定版本的 NumPy，例如为了兼容旧的项目或避免新版本带来的潜在问题。您可以在安装命令后面加上版本号来指定：

bash
pip install numpy==1.23.5

或者指定一个版本范围：

bash
pip install "numpy>=1.20.0,<1.24.0"

安装预发布版本 (Pre-release Versions)

如果您想尝试 NumPy 的预发布版本（如 alpha, beta, release candidate），可以使用 --pre 标志：

bash
pip install --pre numpy
请注意，预发布版本可能不稳定，不建议在生产环境中使用。

安装带有特定依赖的 NumPy (通常不适用 NumPy)

有些包可能提供带有额外功能的安装选项，通过在包名后加上方括号和选项名指定。例如，一个 hypothetical_package 可能有 [test] 选项来安装测试依赖：pip install hypothetical_package[test]。对于 NumPy 基础包，通常没有这种常用的安装选项，它作为一个核心库，依赖相对纯粹。

离线安装 NumPy

如果您需要在没有互联网连接的环境中安装 NumPy，可以先在有网络的环境中下载 NumPy 包及其依赖项，然后将这些文件传输到目标机器进行离线安装。

  1. 下载包 (在有网络的环境中):
    bash
    pip download numpy -d /path/to/download_directory
    这会将 NumPy 及其所有依赖项的 wheel 文件 (.whl) 或源码包 (.tar.gz) 下载到指定的目录。

  2. 离线安装 (在目标机器上):
    将下载目录复制到目标机器。然后在目标机器的终端中，导航到包含这些文件的目录，并使用以下命令进行本地安装：
    bash
    pip install --no-index --find-links /path/to/download_directory numpy

    • --no-index: 告诉 pip 不要去 PyPI 查找包，只在本地查找。
    • --find-links /path/to/download_directory: 告诉 pip 在指定的目录中查找包文件。

验证 NumPy 是否成功安装

安装完成后，最可靠的验证方法是在 Python 解释器中尝试导入和使用 NumPy。

步骤 1：进入 Python 解释器

在安装了 NumPy 的那个终端窗口中（确保您仍在正确的虚拟环境或系统环境中），输入 python 或 python3 并按回车，进入 Python 交互式解释器：

“`bash
python

或者

python3
“`

您会看到类似 >>> 的提示符。

步骤 2：导入 NumPy 并检查版本

在 Python 解释器中，输入以下代码：

python
import numpy as np
print(np.__version__)

解释：
* import numpy as np: 这是导入 NumPy 的标准做法。as np 是一个别名，使得您可以使用更短的 np 来引用 NumPy 库。
* print(np.__version__): 访问 NumPy 库的 __version__ 属性，它存储了当前安装的 NumPy 版本号。

如果您能够成功导入 NumPy 并且输出了一个版本号（例如 1.26.2），则说明 NumPy 已经成功安装并可供使用了。

如果您在 import numpy as np 时遇到了 ModuleNotFoundError: No module named 'numpy' 错误，那说明 NumPy 没有安装到当前您进入的这个 Python 环境中。请回顾安装步骤，确认您是在正确的环境（尤其是虚拟环境）中执行了 pip install numpy 命令。

步骤 3：尝试一个简单的 NumPy 操作

您还可以尝试一个简单的 NumPy 操作来进一步验证：

python
import numpy as np
arr = np.array([1, 2, 3, 4, 5])
print(arr * 2)

输出应该是 [ 2 4 6 8 10]。如果这一步也正常执行，那么恭喜您，NumPy 已经可以正常工作了！

输入 exit() 并按回车可以退出 Python 解释器。

NumPy 安装的常见问题与故障排除

虽然 pip install numpy 通常非常顺利，但偶尔也可能遇到问题。以下是一些常见的问题及其解决方法：

  1. Permission denied 错误:

    • 原因: 您可能尝试在没有足够权限的系统目录下安装包。直接在系统全局 Python 环境安装库时，尤其是在 Linux/macOS 上，可能会遇到此问题。
    • 解决方案: 强烈建议使用虚拟环境。 在虚拟环境中，您对该环境目录拥有完全权限，不会遇到此问题。如果非要在系统环境安装（不推荐），可以在命令前加上 sudo (Linux/macOS) 或者在 Windows 上以管理员身份运行命令提示符。例如：sudo pip install numpy (请谨慎使用 sudo)。另一种更好的方法是在用户目录下安装：pip install --user numpy。但要注意，使用 --user 安装的包可能不在默认的 Python 路径中，需要额外配置。
    • 最佳实践: 始终使用虚拟环境！

  2. pip 命令找不到:

    • 原因: Python 或 Scripts 目录没有添加到系统的 PATH 环境变量中。
    • 解决方案: 确保您的 Python 安装目录及其下的 Scripts (Windows) 或 bin (Linux/macOS) 目录已经添加到系统的 PATH 环境变量中。或者，您可以使用 python -m pip install numpy (或 python3 -m pip install numpy) 命令来代替 pip install numpy，这可以强制使用特定 Python 版本附带的 pip。

  3. 网络连接问题:

    • 原因: 无法连接到 PyPI 服务器，可能是网络故障、防火墙或代理设置问题。
    • 解决方案: 检查您的互联网连接。如果您处于需要代理的环境中，可能需要配置 pip 使用代理。可以查阅 pip 文档关于代理设置的部分。有时，更换 pip 源（使用国内镜像源如清华、豆瓣等）可以解决连接慢或不稳定的问题。例如，使用清华源安装：pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple。

  4. 依赖或编译问题 (较少见):

    • 原因: NumPy 包含一些用 C 或 Fortran 编写的底层代码，需要编译才能运行。虽然 pip 通常会下载预编译好的 wheel 文件 (.whl) 来避免编译过程，但在某些特定系统或 Python 版本下，可能没有对应的 wheel 文件，pip 会尝试从源码安装，这就需要系统安装有 C/C++/Fortran 编译器和相关的开发工具。
    • 解决方案:
      • 首选: 确保您的 pip 是最新版本 (pip install --upgrade pip)，并且您的 Python 版本是主流且常见的。通常，主流的 Python 版本（如 3.8, 3.9, 3.10, 3.11）在 PyPI 上都有相应的 NumPy wheel 文件。Pip 会优先下载 wheel 文件。
      • 如果必须从源码编译:
        • 在 Windows 上，可能需要安装 Microsoft Visual C++ Build Tools。
        • 在 Debian/Ubuntu Linux 上，安装 build-essential 包：sudo apt-get update && sudo apt-get install build-essential。
        • 在 Fedora/CentOS/RHEL Linux 上，安装 Development Tools：sudo yum groupinstall "Development Tools"。
        • 在 macOS 上，安装 Xcode Command Line Tools：xcode-select --install。
      • 替代方案: 如果编译问题持续存在，考虑使用 Anaconda 或 Miniconda。Conda 是另一个包管理器，它在提供预编译的二进制包方面通常比 pip 更全面，尤其是对于包含底层科学库的包，它能更好地处理复杂的依赖关系。在 conda 环境中安装 NumPy 通常更简单：conda install numpy。

  5. 与其他库版本冲突:

    • 原因: 您的环境中可能已经安装了其他库，其依赖的 NumPy 版本与您尝试安装的版本冲突。
    • 解决方案: 这是使用虚拟环境最重要的原因之一。在新的、隔离的虚拟环境中安装 NumPy 可以避免这种冲突。如果您在现有环境中遇到冲突，可以尝试升级或降级相关的库，或者使用 pip check 命令来查找冲突。

升级和卸载 NumPy

使用 pip 升级或卸载 NumPy 同样简单：

  • 升级 NumPy:
    bash
    pip install --upgrade numpy
    # 或者
    pip install -U numpy
    这会将当前环境中安装的 NumPy 升级到 PyPI 上的最新版本。

  • 卸载 NumPy:
    bash
    pip uninstall numpy
    pip 会询问您是否确认卸载。输入 y 并回车即可。

第四部分：安装后的简单使用示例

NumPy 安装成功后，您就可以在 Python 脚本或交互式环境中使用了。下面是一个简单的例子，展示 NumPy 数组的创建和基本运算：

“`python

导入 NumPy，使用标准别名 np

import numpy as np

创建一个一维 NumPy 数组

arr1 = np.array([1, 2, 3, 4, 5])
print(“一维数组 arr1:”, arr1)
print(“arr1 的形状:”, arr1.shape)
print(“arr1 的数据类型:”, arr1.dtype)

创建一个二维 NumPy 数组 (矩阵)

arr2 = np.array([[10, 20, 30], [40, 50, 60]])
print(“\n二维数组 arr2:\n”, arr2)
print(“arr2 的形状:”, arr2.shape)
print(“arr2 的维度数:”, arr2.ndim)

数组基本运算 (矢量化)

arr_add = arr1 + 10 # arr1 的每个元素都加 10
print(“\narr1 + 10:”, arr_add)

arr_mult = arr2 * 2 # arr2 的每个元素都乘以 2
print(“arr2 * 2:\n”, arr_mult)

矩阵乘法 (使用 @ 或 np.dot)

注意: 矩阵乘法需要形状兼容，这里我们转置 arr2 进行示例

arr3 = np.array([[1, 2], [3, 4]])
arr4 = np.array([[5, 6], [7, 8]])
matrix_mult_result = arr3 @ arr4 # 或者 np.dot(arr3, arr4)
print(“\n矩阵乘法 arr3 @ arr4:\n”, matrix_mult_result)

聚合操作

print(“\narr1 的总和:”, arr1.sum())
print(“arr2 的平均值:”, arr2.mean())
print(“arr2 按列求和 (axis=0):”, arr2.sum(axis=0))
print(“arr2 按行求和 (axis=1):”, arr2.sum(axis=1))

索引和切片

print(“\narr1 的第一个元素:”, arr1[0])
print(“arr2 的第一行:”, arr2[0, :]) # 或者 arr2[0]
print(“arr2 的最后一列:”, arr2[:, -1])

布尔索引

print(“\narr1 中大于 3 的元素:”, arr1[arr1 > 3])

使用 NumPy 的通用函数

print(“\narr1 的平方根:”, np.sqrt(arr1))
“`

将这段代码保存在一个 .py 文件中（例如 numpy_example.py），然后在安装了 NumPy 的环境中运行 python numpy_example.py，您将看到 NumPy 的基本操作输出。

结论

NumPy 是 Python 进行数值计算的基石，其核心 ndarray 提供了高效、灵活的多维数组操作能力。通过本文的介绍，您应该对 ndarray 的优势、关键特性以及一些基本操作有了初步的了解。

使用 pip 安装 NumPy 是一个简单直接的过程，通常只需要一条命令：pip install numpy。然而，为了避免潜在的权限或依赖冲突问题，强烈建议始终在虚拟环境中使用 pip 安装 NumPy。通过检查 Python 和 pip 的版本、激活虚拟环境以及验证安装，您可以确保 NumPy 已正确配置并随时可用。

NumPy 的功能远不止本文介绍的这些基础知识。它还包括线性代数、傅里叶变换、随机数生成、形状操作、文件读写等大量功能。一旦成功安装 NumPy，就可以开始深入探索其官方文档或各种教程，将其强大的能力应用到您的数据分析、科学计算或机器学习项目中。

希望这篇详细的指南能帮助您顺利迈出使用 NumPy 的第一步！

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部