使用 pgvector 加速 PostgreSQL 中的向量搜索：原理、实践与性能优化

在人工智能和机器学习应用蓬勃发展的今天，向量相似度搜索已成为一项关键技术，广泛应用于推荐系统、图像检索、自然语言处理等领域。传统的基于文本或标签的搜索方法在处理高维、抽象的向量数据时显得力不从心。而向量数据库正是为了解决这一挑战而生。

然而，对于许多已经在使用 PostgreSQL 的用户来说，迁移到一个全新的数据库系统可能成本高昂且充满风险。幸运的是，pgvector 的出现为 PostgreSQL 用户提供了一种在原有数据库中实现高效向量搜索的便捷途径。

pgvector 是一个开源的 PostgreSQL 扩展，它为 PostgreSQL 增加了向量数据类型和相关的相似度搜索功能。通过 pgvector，用户可以直接在 PostgreSQL 中存储、索引和查询向量数据，无需引入额外的数据库系统。这不仅简化了系统架构，降低了维护成本，还充分利用了 PostgreSQL 成熟的生态系统和丰富的特性。

本文将深入探讨 pgvector 的原理、使用方法、性能优化技巧以及实际应用案例，旨在帮助读者全面了解并掌握这一强大的工具，从而加速 PostgreSQL 中的向量搜索。

1. 向量相似度搜索：背景与挑战

在深入了解 pgvector 之前，我们先来回顾一下向量相似度搜索的基本概念和面临的挑战。

1.1 什么是向量？

在机器学习中，向量通常指的是一个由数值组成的有序数组，它可以表示各种类型的数据，如文本、图像、音频等。通过特定的嵌入（Embedding）模型，我们可以将这些非结构化数据转换为高维向量，从而捕捉数据之间的语义关系。

例如，在自然语言处理中，Word2Vec、GloVe、BERT 等模型可以将单词或句子转换为向量。相似的单词或句子在向量空间中距离较近，而不相似的则距离较远。

1.2 向量相似度搜索

向量相似度搜索的目标是在给定的向量集合中，找到与查询向量最相似的一个或多个向量。相似度的度量通常采用余弦相似度、欧氏距离、内积等方法。

• 余弦相似度（Cosine Similarity）：计算两个向量夹角的余弦值，值越大表示越相似。
• 欧氏距离（Euclidean Distance）：计算两个向量之间的直线距离，值越小表示越相似。
• 内积（Inner Product）：计算两个向量的点积，值越大表示越相似。

1.3 传统数据库的局限性

传统的关系型数据库（如 PostgreSQL）主要针对结构化数据设计，缺乏对向量数据类型和相似度搜索的原生支持。虽然可以通过将向量的每个维度存储为单独的列来实现向量存储，但这种方式在进行相似度搜索时效率极低，难以满足实际应用的需求。

主要原因如下：

• 高维度诅咒：向量的维度通常很高（数百甚至数千维），导致查询需要扫描大量列，性能急剧下降。
• 缺乏索引支持：传统数据库的索引（如 B-Tree）不适用于高维向量的相似度搜索，无法有效过滤数据。
• 计算复杂度高：相似度计算本身就比较耗时，加上数据库查询的开销，使得整体性能难以接受。

2. pgvector：PostgreSQL 的向量搜索利器

pgvector 的出现正是为了弥补 PostgreSQL 在向量搜索方面的不足。它通过引入新的数据类型、索引和操作符，使得 PostgreSQL 能够高效地处理向量数据。

2.1 核心特性

pgvector 的主要特性包括：

• 向量数据类型（vector）：用于存储向量数据。
• 相似度操作符：
  • <->：计算余弦距离（1 – 余弦相似度）。
  • <#>：计算负内积。
  • <=>：计算欧氏距离。
• 索引支持：
  • IVFFlat：基于倒排文件的索引，适用于中等规模数据集。
  • HNSW：基于分层可导航小世界图的索引，适用于大规模数据集。
• GiST 索引集成：支持基于 GiST 的自定义索引，用户可以根据需求实现自己的索引策略。

2.2 安装与配置

安装 pgvector 非常简单，可以通过源码编译安装，也可以使用包管理器安装（如 apt、yum）。

“`bash

以 Ubuntu 为例

sudo apt-get install postgresql-15-pgvector # 替换为你的 PostgreSQL 版本
“`

安装完成后，需要在 PostgreSQL 中创建扩展：

sql
CREATE EXTENSION vector;

2.3 基本使用

使用 pgvector 非常直观，下面是一个简单的示例：

“`sql
— 创建表
CREATE TABLE items (
id SERIAL PRIMARY KEY,
embedding vector(128) — 向量维度为 128
);

— 插入数据
INSERT INTO items (embedding) VALUES
(‘[1,2,3,…,128]’),
(‘[4,5,6,…,128]’),
…;

— 查询相似向量
SELECT id, embedding <-> ‘[1,2,3,…,128]’ AS distance
FROM items
ORDER BY distance
LIMIT 10;
“`

在这个例子中，我们创建了一个名为 items 的表，其中包含一个 embedding 列，类型为 vector(128)。然后，我们插入了一些向量数据。最后，我们使用 <-> 操作符计算查询向量与表中所有向量的余弦距离，并按距离排序，返回最相似的 10 个向量。

3. 索引加速：IVFFlat 与 HNSW

为了加速向量搜索，pgvector 提供了两种索引类型：IVFFlat 和 HNSW。选择合适的索引类型对于获得最佳性能至关重要。

3.1 IVFFlat 索引

IVFFlat（Inverted File with Flat index）是一种基于倒排文件的索引。它将向量空间划分为多个聚类（Voronoi cells），每个聚类由一个中心向量表示。查询时，首先找到与查询向量最近的中心向量，然后只在该聚类中进行搜索。

IVFFlat 索引的构建过程如下：

1. 聚类：使用 K-Means 等算法将向量集合划分为多个聚类。
2. 构建倒排列表：为每个聚类创建一个倒排列表，记录该聚类中包含的向量 ID。

查询过程如下：

1. 找到最近的聚类：计算查询向量与所有中心向量的距离，找到最近的 k 个聚类（k 由 probes 参数控制）。
2. 扫描倒排列表：扫描这 k 个聚类的倒排列表，计算查询向量与列表中向量的距离。
3. 返回结果：根据距离排序，返回最相似的向量。

创建 IVFFlat 索引：

sql
CREATE INDEX ON items USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);

• lists：聚类的数量，通常设置为向量数量的平方根。
• 可以设置 probes 参数来调整查询时扫描的聚类数量。

3.2 HNSW 索引

HNSW（Hierarchical Navigable Small World）是一种基于分层可导航小世界图的索引。它构建一个多层图结构，每一层都是下一层的子集。查询时，从顶层开始，逐层向下搜索，找到最近的邻居。

HNSW 索引的构建过程如下：

1. 构建多层图：
   • 顶层包含少量随机选择的向量。
   • 每一层都是下一层的子集，通过随机选择或根据距离选择向量。
   • 每个向量与其最近的邻居连接。
2. 优化连接：通过启发式算法优化连接，使得查询更高效。

查询过程如下：

1. 从顶层开始：选择一个随机向量作为入口点。
2. 逐层向下搜索：
   • 在当前层找到与查询向量最近的邻居。
   • 将这些邻居作为下一层的入口点。
3. 返回结果：在最底层找到的邻居中，根据距离排序，返回最相似的向量。

创建 HNSW 索引：

sql
CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

• m：每个向量的最大连接数。
• ef_construction：构建索引时的搜索深度, 可以设置 ef_search 参数来调整查询时的搜索深度。

3.3 索引选择建议

• 中等规模数据集（百万级别以下）：IVFFlat 通常是更好的选择，因为它构建速度快，查询性能也不错。
• 大规模数据集（百万级别以上）：HNSW 通常具有更好的查询性能，但构建时间较长。
• 内存限制：IVFFlat 的内存占用相对较小，适合内存受限的场景。
• 写入频繁：IVFFlat 支持增量更新，而 HNSW 需要重建索引。

4. 性能优化技巧

除了选择合适的索引类型外，还可以通过以下技巧进一步优化 pgvector 的性能：

• 调整索引参数：根据数据集的特点和查询需求，调整 IVFFlat 的 lists 和 probes 参数，或 HNSW 的 m、ef_construction 和 ef_search 参数。
• 批量插入：批量插入数据可以减少索引构建的开销。
• 并行查询：利用 PostgreSQL 的并行查询功能，可以进一步提高查询速度。
• 数据预处理：对向量数据进行归一化、降维等预处理，可以提高搜索精度和效率。
• 硬件升级：使用更快的 CPU、更大的内存和更快的存储设备，可以显著提升性能。
• 使用连接池：减少数据库连接的创建和销毁开销。
• 避免不必要的计算：尽量减少在查询中进行复杂的计算，例如，如果只需要知道距离是否小于某个阈值，可以使用 <=> 操作符代替 <-> 操作符。

5. 实际应用案例

pgvector 可以应用于各种需要向量相似度搜索的场景，以下是一些典型的应用案例：

• 推荐系统：根据用户历史行为或商品特征的向量表示，推荐相似的商品或内容。
• 图像检索：根据图像的特征向量，搜索相似的图像。
• 自然语言处理：根据文本的向量表示，进行语义搜索、文本聚类、情感分析等。
• 异常检测：根据数据的向量表示，检测与正常模式不符的异常数据。
• 基因序列分析：根据基因序列的向量表示，搜索相似的基因序列。
• 化学分子式检索: 根据化学分子式的向量表示，搜索相似的分子式。

6. 总结与展望

pgvector 为 PostgreSQL 用户提供了一种简单、高效、可靠的向量搜索解决方案。通过 pgvector，用户无需迁移到新的数据库系统，即可在 PostgreSQL 中实现高性能的向量搜索。

随着人工智能和机器学习应用的不断发展，向量搜索的需求将越来越广泛。pgvector 作为 PostgreSQL 生态系统中的重要一员，将继续发展和完善，为用户提供更强大的功能和更优异的性能。

未来，pgvector 可能会在以下方面进行改进：

• 支持更多索引类型：例如，支持 DiskANN 等更先进的索引算法。
• 更精细的索引参数调优：提供更丰富的索引参数，以适应不同的数据集和查询需求。
• 与其他 PostgreSQL 扩展的集成：例如，与 PostGIS 集成，支持地理空间向量搜索。
• 更完善的监控和管理工具：提供更方便的工具来监控索引状态、调整索引参数、优化查询性能。

总而言之，pgvector 是一个非常有价值的 PostgreSQL 扩展，它为 PostgreSQL 用户打开了向量搜索的大门，使得 PostgreSQL 能够更好地适应人工智能时代的需求。如果您正在使用 PostgreSQL，并且需要进行向量搜索，那么 pgvector 绝对值得您尝试。