Pandas入门：PyPI安装与核心功能详解 – wiki基地

作者： /

Pandas入门：PyPI安装与核心功能详解

1. 引言

在当今数据驱动的世界中，数据分析已成为各个领域不可或缺的技能。Python凭借其丰富的库生态系统，在数据科学领域占据了主导地位。而在众多Python数据分析库中，pandas 无疑是最核心、最强大的工具之一。

Pandas（Python Data Analysis Library）是一个开源库，它提供了高性能、易于使用的数据结构和数据分析工具，主要用于处理结构化数据。无论是进行数据清洗、转换、聚合还是可视化，Pandas都能提供直观且高效的解决方案。对于任何希望深入数据分析或机器学习的Python开发者来说，掌握Pandas是基石。

本文将详细介绍如何通过PyPI（Python Package Index）安装Pandas，并深入探讨其核心功能，帮助初学者快速入门，并为后续更复杂的数据操作打下坚实基础。

2. PyPI安装

在开始使用Pandas之前，首先需要确保您的Python环境已正确配置。

2.1. Python环境准备

建议使用Python 3.6或更高版本。您可以通过在命令行输入以下命令来检查Python版本：

bash
python --version

2.2. 虚拟环境（Virtual Environments）的最佳实践

在开发Python项目时，强烈推荐使用虚拟环境。虚拟环境可以为每个项目创建独立的Python包安装空间，避免不同项目之间的包依赖冲突。

创建虚拟环境：

bash
python -m venv my_pandas_env

激活虚拟环境：

  • Windows:
    bash
    .\my_pandas_env\Scripts\activate
  • macOS/Linux:
    bash
    source my_pandas_env/bin/activate
    激活后，您的命令行提示符前会显示虚拟环境的名称（例如 (my_pandas_env)）。

2.3. 使用pip安装Pandas

虚拟环境激活后，您可以使用Python的包管理器 pip 来安装Pandas。通常，Pandas会依赖 NumPy，pip 会自动处理这些依赖。

bash
pip install pandas

安装完成后，您可以通过在Python解释器中尝试导入Pandas来验证安装是否成功：

python
import pandas as pd
print("Pandas安装成功，版本号：", pd.__version__)
如果没有报错并打印出版本号，则说明Pandas已成功安装。

3. Pandas核心功能

Pandas的核心在于其两种主要数据结构：Series（一维带标签数组）和 DataFrame（二维带标签表格数据结构）。

3.1. Series与DataFrame：数据结构基石

3.1.1. Series 介绍与创建

Series 类似于一列数据，可以看作是带有标签（索引）的 NumPy 数组。

“`python
import pandas as pd
import numpy as np

从列表中创建Series

s = pd.Series([1, 3, 5, np.nan, 6, 8])
print(“从列表创建的Series:\n”, s)

从字典创建Series (键作为索引)

s_dict = pd.Series({‘a’: 10, ‘b’: 20, ‘c’: 30})
print(“\n从字典创建的Series:\n”, s_dict)
“`

3.1.2. DataFrame 介绍与创建

DataFrame 是Pandas最常用的数据结构，它是一个二维的表格型数据结构，由行和列组成，可以看作是 Series 对象的字典。

“`python

从字典创建DataFrame

data = {
‘Name’: [‘Alice’, ‘Bob’, ‘Charlie’, ‘David’],
‘Age’: [25, 30, 35, 40],
‘City’: [‘New York’, ‘Los Angeles’, ‘Chicago’, ‘Houston’]
}
df = pd.DataFrame(data)
print(“从字典创建的DataFrame:\n”, df)

指定索引

df_indexed = pd.DataFrame(data, index=[‘a’, ‘b’, ‘c’, ‘d’])
print(“\n指定索引的DataFrame:\n”, df_indexed)

从列表中列表创建DataFrame

data_list = [[‘Alice’, 25, ‘NY’], [‘Bob’, 30, ‘LA’]]
df_list = pd.DataFrame(data_list, columns=[‘Name’, ‘Age’, ‘Location’])
print(“\n从列表中列表创建的DataFrame:\n”, df_list)
“`

3.1.3. 基本属性

DataFrame 和 Series 拥有许多有用的属性来查看其结构和内容。

python
print("\nDataFrame的形状 (行数, 列数):", df.shape)
print("DataFrame的列名:", df.columns)
print("DataFrame的索引:", df.index)
print("DataFrame的数据类型:\n", df.dtypes)
print("DataFrame的值 (NumPy数组):\n", df.values)
print("Series的索引:", s.index)

3.2. 数据导入与导出 (Data Input/Output)

Pandas可以轻松地从各种数据源读取数据，并导出到不同的格式。

3.2.1. 读取CSV文件 (pd.read_csv())

CSV（Comma Separated Values）是最常见的数据格式之一。

“`python

创建一个虚拟CSV文件

csv_content = “””Name,Age,Score
Alice,24,90
Bob,27,85
Charlie,22,92
David,29,78
“””
with open(“sample.csv”, “w”) as f:
f.write(csv_content)

读取CSV文件

df_csv = pd.read_csv(“sample.csv”)
print(“\n从CSV文件读取的DataFrame:\n”, df_csv)
“`

3.2.2. 读取Excel文件 (pd.read_excel())

要读取Excel文件，可能需要安装 openpyxl 或 xlrd 库：pip install openpyxl。

“`python

Excel文件创建略，假设有一个名为 ‘sample.xlsx’ 的文件

df_excel = pd.read_excel(“sample.xlsx”, sheet_name=”Sheet1″)

print(“\n从Excel文件读取的DataFrame:\n”, df_excel)

print(“\n(跳过Excel读取示例，因为需要实际文件)”)
“`

3.2.3. 导出到CSV文件 (.to_csv())

“`python

导出DataFrame到CSV文件，index=False表示不写入行索引

df_csv.to_csv(“output.csv”, index=False)
print(“\nDataFrame已导出到 output.csv”)

您可以在文件系统中查看 output.csv

“`

3.3. 数据查看与描述 (Data Inspection and Description)

3.3.1. 查看头部和尾部数据 (.head(), .tail())

默认显示前5行或后5行数据。

python
print("\nDataFrame头部数据 (前3行):\n", df_csv.head(3))
print("\nDataFrame尾部数据 (后2行):\n", df_csv.tail(2))

3.3.2. 查看数据信息 (.info())

提供 DataFrame 的简明摘要，包括索引类型、列数据类型、非空值数量和内存使用情况。

python
print("\nDataFrame信息摘要:")
df_csv.info()

3.3.3. 描述性统计 (.describe())

生成 DataFrame 中数值列的描述性统计信息，如计数、均值、标准差、最小值、最大值和四分位数。

python
print("\nDataFrame描述性统计:\n", df_csv.describe())

3.3.4. 查看唯一值 (.unique(), .value_counts())

Series 上常用的方法。

python
print("\n'City'列的唯一值 (假设df_indexed):\n", df_indexed['City'].unique())
print("\n'City'列的值计数 (假设df_indexed):\n", df_indexed['City'].value_counts())

3.4. 数据选择与索引 (Data Selection and Indexing)

3.4.1. 列选择

“`python

选择单列

name_col = df[‘Name’]
print(“\n选择单列 ‘Name’:\n”, name_col)

选择多列

name_age_cols = df[[‘Name’, ‘Age’]]
print(“\n选择多列 ‘Name’ 和 ‘Age’:\n”, name_age_cols)
“`

3.4.2. 行选择 (.loc[], .iloc[])

  • .loc[]: 基于标签（索引名称和列名）选择。
  • .iloc[]: 基于整数位置选择。

“`python

使用 .loc[] 基于索引标签选择行

print(“\n使用 .loc[] 选择索引为 ‘b’ 的行:\n”, df_indexed.loc[‘b’])
print(“\n使用 .loc[] 选择索引为 ‘b’ 到 ‘d’ 的所有行:\n”, df_indexed.loc[‘b’:’d’])
print(“\n使用 .loc[] 选择索引为 ‘b’，列为 ‘Name’ 的值:”, df_indexed.loc[‘b’, ‘Name’])

使用 .iloc[] 基于整数位置选择行

print(“\n使用 .iloc[] 选择第1行 (索引为1，0-based):\n”, df_indexed.iloc[1])
print(“\n使用 .iloc[] 选择第0到第2行 (不包括第3行):\n”, df_indexed.iloc[0:3])
print(“\n使用 .iloc[] 选择第1行第0列的值:”, df_indexed.iloc[1, 0])
“`

3.4.3. 条件筛选

“`python

筛选年龄大于30的行

older_than_30 = df[df[‘Age’] > 30]
print(“\n年龄大于30的行:\n”, older_than_30)

组合条件筛选 (年龄大于30且城市为芝加哥)

filtered_df = df[(df[‘Age’] > 30) & (df[‘City’] == ‘Chicago’)]
print(“\n年龄大于30且城市为芝加哥的行:\n”, filtered_df)
“`

3.5. 数据清洗 (Data Cleaning)

真实世界的数据往往是不完美的，Pandas提供了强大的工具进行数据清洗。

3.5.1. 处理缺失值 (.isnull(), .dropna(), .fillna())

“`python

创建一个包含缺失值的DataFrame

df_missing = pd.DataFrame({
‘A’: [1, 2, np.nan, 4],
‘B’: [5, np.nan, 7, 8],
‘C’: [9, 10, 11, 12]
})
print(“\n包含缺失值的DataFrame:\n”, df_missing)

检查缺失值

print(“\n缺失值检查:\n”, df_missing.isnull())

删除包含缺失值的行

df_dropped = df_missing.dropna()
print(“\n删除缺失值后的DataFrame (行):\n”, df_dropped)

填充缺失值 (例如，用0填充，或用均值填充)

df_filled_zero = df_missing.fillna(0)
print(“\n用0填充缺失值后的DataFrame:\n”, df_filled_zero)

df_filled_mean = df_missing[‘B’].fillna(df_missing[‘B’].mean())
print(“\n用B列均值填充缺失值后的Series:\n”, df_filled_mean)
“`

3.5.2. 处理重复值 (.duplicated(), .drop_duplicates())

“`python
df_dup = pd.DataFrame({
‘col1’: [‘A’, ‘B’, ‘A’, ‘C’],
‘col2’: [1, 2, 1, 3]
})
print(“\n包含重复值的DataFrame:\n”, df_dup)

查找重复行 (默认检查所有列)

print(“\n重复行检查:\n”, df_dup.duplicated())

删除重复行

df_no_dup = df_dup.drop_duplicates()
print(“\n删除重复行后的DataFrame:\n”, df_no_dup)
“`

3.5.3. 数据类型转换 (.astype())

“`python
df_types = pd.DataFrame({‘col_int’: [1, 2, 3], ‘col_str’: [‘a’, ‘b’, ‘c’]})
print(“\n原始DataFrame数据类型:\n”, df_types.dtypes)

将 ‘col_int’ 转换为浮点型

df_types[‘col_int’] = df_types[‘col_int’].astype(float)
print(“\n转换后的DataFrame数据类型:\n”, df_types.dtypes)
“`

3.6. 数据操作与转换 (Data Manipulation and Transformation)

3.6.1. 列的增、删、改

“`python

增加新列

df[‘New_Column’] = df[‘Age’] * 2
print(“\n增加新列后的DataFrame:\n”, df)

修改现有列

df[‘Age’] = df[‘Age’] + 1
print(“\n修改 ‘Age’ 列后的DataFrame:\n”, df)

删除列

df_dropped_col = df.drop(columns=[‘New_Column’])
print(“\n删除 ‘New_Column’ 后的DataFrame:\n”, df_dropped_col)
“`

3.6.2. 应用函数 (.apply())

对 Series 或 DataFrame 的行/列应用自定义函数。

“`python

对 ‘Name’ 列应用字符串转换函数

df[‘Name_Upper’] = df[‘Name’].apply(lambda x: x.upper())
print(“\n应用函数后的DataFrame:\n”, df)
“`

3.6.3. 数据排序 (.sort_values(), .sort_index())

“`python

按 ‘Age’ 列升序排序

df_sorted_age = df.sort_values(by=’Age’)
print(“\n按 ‘Age’ 排序后的DataFrame:\n”, df_sorted_age)

按索引降序排序

df_sorted_index = df_indexed.sort_index(ascending=False)
print(“\n按索引降序排序后的DataFrame:\n”, df_sorted_index)
“`

3.6.4. 数据分组与聚合 (.groupby(), .agg())

这是Pandas最强大的功能之一，用于按一个或多个键对数据进行分组，并对每个组执行聚合操作。

“`python
data_agg = {
‘Category’: [‘A’, ‘B’, ‘A’, ‘B’, ‘A’, ‘C’],
‘Value’: [10, 20, 15, 25, 12, 30]
}
df_agg = pd.DataFrame(data_agg)
print(“\n原始聚合数据:\n”, df_agg)

按 ‘Category’ 分组并计算 ‘Value’ 的总和

grouped_sum = df_agg.groupby(‘Category’)[‘Value’].sum()
print(“\n按 ‘Category’ 分组并求和:\n”, grouped_sum)

按 ‘Category’ 分组并计算多个聚合统计

grouped_multi_agg = df_agg.groupby(‘Category’)[‘Value’].agg([‘sum’, ‘mean’, ‘count’])
print(“\n按 ‘Category’ 分组并进行多重聚合:\n”, grouped_multi_agg)
“`

4. 总结与展望

Pandas作为Python数据分析的基石，提供了强大而灵活的数据结构和操作工具。通过本文，您应该已经掌握了：

  • PyPI安装：如何在虚拟环境中高效安装Pandas。
  • 核心数据结构：Series 和 DataFrame 的创建与基本属性。
  • 数据I/O：从CSV文件读取和导出数据。
  • 数据探索：使用 head(), info(), describe() 等方法快速了解数据。
  • 数据选择与过滤：通过列名、索引 (loc, iloc) 和条件表达式精确提取数据。
  • 数据清洗：有效处理缺失值和重复值，转换数据类型。
  • 数据操作与转换：增加、修改、删除列，应用函数，以及对数据进行排序和强大的分组聚合操作。

这仅仅是Pandas功能的冰山一角。掌握了这些基础知识，您将能够处理绝大多数的日常数据分析任务。为了进一步提升您的技能，建议您继续学习以下内容：

  • 高级索引：MultiIndex
  • 数据合并与连接：merge(), concat()
  • 时间序列分析
  • 数据透视表：pivot_table()
  • 与Matplotlib/Seaborn结合：数据可视化
  • 性能优化：了解Pandas的内部机制，写出更高效的代码。

数据分析的世界广阔而精彩，Pandas将是您探索这一领域的得力助手。

滚动至顶部