MongoDB createIndex 指南 – wiki基地

作者： /

MongoDB createIndex 指南：提升查询性能的核心秘诀

在当今数据驱动的世界里，数据库的查询性能是决定应用程序响应速度和用户体验的关键因素之一。MongoDB 作为一款流行的 NoSQL 文档型数据库，以其灵活的文档模型和可伸缩性受到广泛欢迎。然而，随着数据量的不断增长，如果没有恰当的优化手段，查询效率可能会急剧下降，甚至导致应用瘫痪。

这时，索引（Indexes）就成了提升 MongoDB 查询性能的秘密武器。就像一本书的目录或索引一样，数据库索引可以帮助数据库系统快速定位到所需的数据，而无需扫描整个数据集。在 MongoDB 中，createIndex 命令是创建索引的唯一入口，掌握它的用法和原理，是每个 MongoDB 开发者和管理员的必备技能。

本文将深入探讨 MongoDB 的 createIndex 命令，从基础概念到高级用法，从各种索引类型到重要的选项，再到实际应用中的最佳实践和管理策略，为你提供一份详尽的指南。

1. 理解索引：为什么需要它？

在深入 createIndex 命令之前，我们首先要理解索引的基本概念和它在数据库中的作用。

想象一下，你有一份包含一百万条记录的客户列表，存储在一个没有索引的 MongoDB 集合中。如果你想查找特定姓名为“张三”的客户，数据库不得不从第一条记录开始，逐条比对姓名，直到找到所有匹配的记录。这个过程称为 全集合扫描（Collection Scan 或 COLLSCAN）。对于一百万条记录来说，这可能需要相当长的时间。

现在，假设你在“姓名”字段上创建了一个索引。索引会维护一个按照姓名排序的数据结构（通常是 B 树或其变种），其中包含了姓名和对应文档在磁盘上的位置信息。当你想查找“张三”时，数据库可以直接通过索引快速定位到“张三”所在的位置，然后直接取出完整的客户文档。这个过程称为 索引扫描（Index Scan 或 IXSCAN）。相比全集合扫描，索引扫描的速度要快得多，尤其是在查询结果集占总数据量比例较小的情况下。

1.1 索引的好处

总结来说，使用索引主要带来以下好处：

  • 加速查询（Reads）： 这是索引最主要的作用。无论是等值查询、范围查询还是排序操作，索引都能显著减少需要扫描的数据量，从而提高查询速度。
  • 支持唯一性约束（Uniqueness）： 通过创建唯一索引，可以确保索引字段的组合在整个集合中是唯一的，防止数据重复。
  • 支持特定查询类型： MongoDB 提供了多种特殊索引类型，如地理空间索引（Geospatial Indexes）用于地理位置查询，文本索引（Text Indexes）用于全文搜索。
  • 提升排序效率： 如果查询的排序字段上有索引，MongoDB 可以直接按照索引的顺序返回结果，避免在内存或磁盘上进行额外的排序操作（SORT stage）。
  • 实现覆盖查询（Covered Queries）： 如果一个查询只需要返回索引中的字段，并且查询条件和排序字段也都在同一个索引中，那么 MongoDB 可以完全从索引中获取数据，而无需访问实际的文档。这可以进一步提高查询性能。

1.2 索引的代价

硬币总有两面，索引虽然能提升查询性能，但也伴随着一定的代价：

  • 写入性能下降（Writes）： 每次对集合进行插入（Insert）、更新（Update）或删除（Delete）操作时，除了修改文档本身，数据库还需要同时更新所有相关的索引。索引越多、越复杂，写入操作的开销就越大。
  • 占用存储空间： 索引需要占用磁盘空间来存储其数据结构。对于大型集合和包含多个字段的索引，占用的空间可能会相当可观。
  • 占用内存： 为了提高查询效率，数据库会尽量将常用的索引部分加载到内存中。索引越多、越大，占用的内存就越多，可能会挤占其他数据或操作所需的内存空间，影响整体性能。
  • 构建索引的开销： 在一个包含大量数据的集合上构建索引是一个资源密集型的操作，可能会对数据库的可用性产生影响（尽管现代 MongoDB 版本已经优化了在线索引构建）。

因此，创建索引不是越多越好，而是需要根据实际的查询模式和写入负载来权衡和选择。

2. createIndex 命令详解

createIndex 是 MongoDB Shell 或驱动程序提供的用于在集合上创建索引的方法。其基本语法如下：

javascript
db.collection.createIndex(keys, options)

  • collection: 你要创建索引的集合的名称。
  • keys: 一个文档，指定要索引的字段以及索引的方向。字段名作为键，方向（1 表示升序，-1 表示降序）作为值。对于特殊类型的索引，值的形式可能不同。
  • options: 一个可选的文档，用于指定索引的附加配置，如唯一性、稀疏性、背景构建等。

下面我们详细分解 keys 和 options 参数。

2.1 keys 参数：指定索引字段和方向

keys 参数是一个文档，用于定义索引的结构。每个键值对指定一个要索引的字段及其索引方向。

  • 单个字段索引：
    javascript
    db.users.createIndex({ username: 1 }) // 在 username 字段上创建升序索引
    db.products.createIndex({ price: -1 }) // 在 price 字段上创建降序索引
    方向（1 或 -1）对于单个字段索引的大多数用途（等值查询、范围查询）来说影响不大，因为 B 树索引无论升序还是降序都可以快速查找。但对于排序操作，方向就很重要了。如果你的查询经常需要按某个字段降序排序，那么在该字段上创建降序索引可以避免额外的排序步骤。

  • 复合索引（Compound Indexes）：
    你可以同时在多个字段上创建索引。这称为复合索引。字段的顺序非常重要。
    javascript
    db.orders.createIndex({ userId: 1, orderDate: -1 })
    这个复合索引首先按 userId 升序排序，然后在每个 userId 内部按 orderDate 降序排序。
    复合索引的一个关键特性是左前缀原则。也就是说，如果你在 (field1, field2, field3) 上创建了复合索引，那么这个索引可以支持以下查询：

    • 只查询 field1
    • 查询 field1 和 field2
    • 查询 field1、field2 和 field3
      但它不能直接支持只查询 field2 或只查询 field3 的语句（除非 MongoDB 优化器能找到其他策略）。
      例如，上面的 (userId: 1, orderDate: -1) 索引可以用于查询：
    • { userId: ... }
    • { userId: ..., orderDate: ... }
      但它不能有效地用于只查询 { orderDate: ... } 的语句。

  • 特殊类型索引的 keys 格式：
    某些特殊索引类型在 keys 参数中有特定的格式：

    • 文本索引（Text Index）：
      javascript
      db.articles.createIndex({ content: "text" }) // 在 content 字段上创建文本索引
      db.products.createIndex({ name: "text", description: "text" }) // 在多个字段上创建复合文本索引，值必须是 "text"
      db.articles.createIndex({ title: "text", content: "text" }, { weights: { title: 10, content: 5 } }) // 可以指定字段权重
      文本索引的值必须是 "text"。你可以在多个字符串字段上创建复合文本索引，并通过 weights 选项指定不同字段的搜索优先级。
    • 地理空间索引（Geospatial Indexes）：
      • 2d 索引 (旧版，平面几何):
        javascript
        db.places.createIndex({ location: "2d" }) // location 字段必须存储 [longitude, latitude] 数组
        值必须是 "2d"。
      • 2dsphere 索引 (推荐，球面几何):
        javascript
        db.venues.createIndex({ location: "2dsphere" }) // location 字段通常存储 GeoJSON 对象
        值必须是 "2dsphere"。这是处理地理空间数据（如经纬度）的标准方式。
    • 哈希索引（Hashed Index）：
      javascript
      db.users.createIndex({ _id: "hashed" }) // 在 _id 字段上创建哈希索引
      值必须是 "hashed"。哈希索引计算字段值的哈希码并索引该哈希码，主要用于分片（Sharding）的哈希分片键。它只支持等值匹配查询。

  • 多键索引（Multikey Indexes）：
    如果索引的字段是一个数组，MongoDB 会自动创建多键索引。它会为数组中的 每个元素 创建一个索引条目，允许通过数组中的任何一个元素来查询包含该数组的文档。你不需要在 createIndex 命令中特别指定它是多键索引，只需要像创建普通索引一样指定字段和方向即可。
    javascript
    db.products.createIndex({ tags: 1 }) // 如果 tags 字段是数组，这将自动成为多键索引

2.2 options 参数：自定义索引行为

options 参数是一个可选的文档，用于配置索引的特性。以下是一些常用的选项：

  • unique: <boolean>
    如果设置为 true，则在索引字段上强制执行唯一性约束。这意味着集合中不能有两个文档的索引字段具有相同的值。对于复合索引，是索引字段的组合必须是唯一的。
    javascript
    db.users.createIndex({ email: 1 }, { unique: true })
    db.products.createIndex({ sku: 1 }, { unique: true, sparse: true }) // 结合 sparse 选项，只对存在 sku 字段的文档强制唯一性
    如果尝试插入或更新会导致唯一性冲突的文档，操作将失败并返回错误。

  • sparse: <boolean>
    如果设置为 true，则稀疏索引只包含那些索引字段 存在 的文档的条目。不包含索引字段的文档将不会被包含在索引中。这对于那些只有一部分文档包含某个特定字段的场景非常有用，可以节省索引空间并提高构建速度。
    javascript
    db.users.createIndex({ phone: 1 }, { sparse: true }) // 只索引包含 phone 字段的用户
    与 unique: true 结合使用时，sparse: true 意味着唯一性约束只应用于那些包含该字段的文档。多个不包含该字段的文档是允许的。

  • background: <boolean>
    在 MongoDB 4.2 及更高版本中，所有前台（Foreground）索引构建操作现在都是弹性的（resilient）和可恢复的。MongoDB 默认以 后台（Background） 方式构建大多数索引（除了独特的复合索引或特殊的地理空间索引类型）。在较早的版本或某些特定情况下，你需要显式设置 background: true 来避免在索引构建过程中阻塞其他数据库操作（特别是读写）。虽然现在通常是默认行为，但在编写与旧版本兼容的代码或需要强制后台构建时，了解这个选项仍然重要。 后台构建不会阻塞其他操作，但构建速度相对较慢。前台构建速度快，但会阻塞对集合的读写。

  • name: <string>
    为索引指定一个自定义名称。如果不指定，MongoDB 会根据索引字段和方向自动生成一个名称，这个名称可能会非常长且难以阅读。指定自定义名称可以方便索引的管理和监控。
    javascript
    db.orders.createIndex({ userId: 1, orderDate: -1 }, { name: "user_order_date_idx" })

  • expireAfterSeconds: <integer>
    创建 TTL (Time To Live) 索引。这个选项只适用于单个字段的索引，且该字段必须存储日期类型的值 (或可以转换为日期类型的数值)。TTL 索引用于在文档达到指定的时间后自动从集合中删除。指定的时间是一个以秒为单位的整数。MongoDB 会周期性地扫描 TTL 索引并删除过期的文档。
    javascript
    db.sessions.createIndex({ createdAt: 1 }, { expireAfterSeconds: 3600 }) // 文档在 createdAt 时间后 3600 秒（1小时）自动删除
    TTL 索引非常适合存储日志、会话信息、缓存数据等有时效性的数据。

  • weights: <document>
    只用于文本索引。一个文档，指定复合文本索引中不同字段的权重。权重是一个数字，用于计算搜索匹配文档的相关性分数 ($meta: "textScore")。权重越大，该字段的匹配对总分数影响越大。默认权重是 1。
    javascript
    db.articles.createIndex(
    { title: "text", content: "text", tags: "text" },
    { weights: { title: 10, content: 5, tags: 3 } }
    )

  • default_language: <string>
    只用于文本索引。指定文本索引使用的默认语言，用于分词和词干提取。默认为 "english"。支持多种语言。
    javascript
    db.articles.createIndex({ content: "text" }, { default_language: "spanish" })

  • language_override: <string>
    只用于文本索引。指定文档中哪个字段包含用于覆盖默认语言的语言名称。
    javascript
    db.articles.createIndex({ content: "text" }, { language_override: "doc_language" }) // 假设文档中有一个 doc_language 字段指定语言

  • partialFilterExpression: <document>
    创建部分索引（Partial Index）。一个文档，指定一个过滤表达式。索引将只包含那些与此过滤表达式匹配的文档的条目。这对于只对集合中的一个子集进行索引，从而减少索引大小和构建/更新开销非常有用。过滤表达式可以使用 $and, $or, $ne, $exists, $gt, $lt 等操作符。
    javascript
    db.users.createIndex(
    { email: 1 },
    { partialFilterExpression: { status: "active" } } // 只索引状态为 "active" 的用户的 email 字段
    )
    db.products.createIndex(
    { price: 1 },
    { partialFilterExpression: { $and: [ { quantity: { $gt: 0 } }, { status: "available" } ] } } // 只索引库存大于0且状态为 available 的商品的 price
    )
    部分索引可以显著减小索引大小，特别是在只有一小部分文档符合过滤条件的情况下。查询时，只有当查询条件能够证明只关心符合 partialFilterExpression 的文档时，MongoDB 才会考虑使用部分索引。

  • collation: <document>
    指定一个collation（排序规则），用于在索引字段上进行字符串比较（如排序和等值匹配）。这对于处理不同语言、不同文化背景下的字符串排序和比较非常重要（例如，区分大小写、重音符号等）。collation 文档遵循 BCP 47 语言标签标准。
    javascript
    db.customers.createIndex(
    { name: 1 },
    { collation: { locale: "fr", strength: 1 } } // 使用法语排序规则，强度为1（忽略大小写和重音）
    )
    如果创建了带有 collation 的索引，那么只有在查询时指定了相同的 collation，MongoDB 才会使用该索引进行字符串比较。

3. 索引类型详解及应用场景

我们已经简要提到了几种索引类型。现在更详细地探讨它们的应用场景。

3.1 单字段索引 (Single Field Index)

  • db.collection.createIndex({ field: 1 or -1 })
  • 应用场景：
    • 最常见的索引类型，用于单个字段上的等值查询 ({ field: value }) 或范围查询 ({ field: { $gt: value } })。
    • 加速对单个字段的排序 (.sort({ field: 1 or -1 }))。
    • _id 字段上默认创建的也是单字段升序索引，用于快速查找文档。

3.2 复合索引 (Compound Index)

  • db.collection.createIndex({ field1: dir1, field2: dir2, ... })
  • 应用场景：
    • 查询涉及多个字段的组合条件 ({ field1: value1, field2: value2 })。字段顺序应与查询中最常用的字段顺序匹配，或者将等值查询字段放在范围查询字段之前（称为 Equality, Sort, Range – ESR 规则，但更通用的规则是将最常用作等值匹配的字段放在前面）。
    • 查询需要对多个字段进行排序 (.sort({ field1: 1, field2: -1 }))。一个设计良好的复合索引可以同时满足查询条件和排序要求，避免额外的排序步骤。
    • 例如，查询用户 ID 为 X 的订单，并按订单日期降序排列：db.orders.find({ userId: X }).sort({ orderDate: -1 })。{ userId: 1, orderDate: -1 } 复合索引非常适合这个查询。

3.3 多键索引 (Multikey Index)

  • db.collection.createIndex({ arrayField: 1 or -1 })
  • 应用场景：
    • 对文档中包含数组的字段进行索引，以便通过数组中的 任何元素 来查询包含该元素的文档。
    • 例如，一个产品文档包含一个 tags 数组 [ "electronic", "gadget", "sale" ]，在 tags 上创建多键索引后，可以通过 { tags: "gadget" } 快速找到该产品。

3.4 地理空间索引 (Geospatial Indexes)

  • db.collection.createIndex({ locationField: "2d" or "2dsphere" })
  • 应用场景：
    • 存储和查询地理位置数据。
    • 2d 索引： 用于平面几何计算，适用于旧式坐标数据或需要执行平面距离计算的场景。通常用于 [经度, 纬度] 数组。
    • 2dsphere 索引： 用于球面几何计算，适用于存储 GeoJSON 对象（Point, LineString, Polygon 等）或 [经度, 纬度] 数组，并进行球面距离、包含关系等查询。这是处理真实世界地理位置的标准和推荐方式。
    • 支持各种地理空间查询操作符，如 $geoWithin, $geoIntersects, $near, $nearSphere 等。

3.5 文本索引 (Text Index)

  • db.collection.createIndex({ field1: "text", field2: "text", ... })
  • 应用场景：
    • 对文档中的字符串内容进行全文搜索。
    • 支持对多个字段的内容进行搜索，可以指定不同字段的搜索优先级（权重）。
    • 支持多种语言的分词和词干提取。
    • 查询时使用 $text 操作符和 $search 表达式。

3.6 哈希索引 (Hashed Index)

  • db.collection.createIndex({ field: "hashed" })
  • 应用场景：
    • 主要用于 MongoDB 的分片（Sharding）功能，作为哈希分片键使用。
    • 将字段值计算为哈希码并索引，这有助于在分片集群中均匀分布数据。
    • 重要： 哈希索引只能支持字段的等值查询，不支持范围查询。

4. 如何选择合适的索引？

选择正确的索引是优化 MongoDB 性能的关键。以下是一些指导原则：

  1. 分析查询模式： 使用 db.collection.explain().find(...) 来查看你的查询是如何执行的。关注 queryPlanner 部分，特别是 winningPlan 下的 stage。

    • 如果看到 COLLSCAN，这意味着查询正在进行全集合扫描，通常表明缺少合适的索引。
    • 如果看到 IXSCAN，表明查询正在使用索引。
    • 如果看到 FETCH 阶段跟随 IXSCAN，表明索引被用于查找文档位置，但需要回表获取完整文档。
    • 如果看到 SORT 阶段没有紧跟着 IXSCAN 且 sortKey 与索引不匹配，表明排序没有利用索引，可能需要创建一个匹配排序顺序的索引。
    • 如果看到 IXAND 或 OR 组合了多个 IXSCAN，可能意味着需要一个更合适的复合索引。
    • 如果看到 PROJECTION_COVERED，恭喜你，这是一个覆盖查询，性能非常好。

  2. 索引查询谓词和排序字段： 优先考虑在查询条件 (find()) 和排序条件 (sort()) 中经常使用的字段上创建索引。

  3. 考虑复合索引的字段顺序： 对于复合索引，将最常用于等值匹配的字段放在前面。如果查询同时有等值匹配和范围匹配，将等值字段放在范围字段之前。如果查询有等值匹配和排序，将等值字段放在排序字段之前。遵循 ESR (Equality, Sort, Range) 或更实际的常见查询模式原则。

  4. 考虑索引覆盖： 如果某些查询只需要返回索引中的字段，尝试创建一个包含所有必要字段的复合索引，以实现覆盖查询，避免回表。

  5. 不要过度索引： 虽然索引能提升查询，但过多的索引会显著降低写入性能，占用大量存储空间和内存。只为你最重要的、性能敏感的查询创建索引。一个好的策略是，如果一个查询占用了大量的数据库资源或者执行频率很高，并且通过 explain() 发现没有有效利用索引，那么就考虑为其创建索引。

  6. 考虑数据分布（Cardinality）： 在区分度高（即有很多唯一值）的字段上创建索引通常比在区分度低（即只有少数几个可能值）的字段上创建索引效果更好，尤其对于等值查询。例如，索引 status 字段（可能只有 ‘active’, ‘inactive’ 几个值）的效果通常不如索引 email 字段（几乎每个值都唯一）的效果好，除非你经常查询某个特定状态且该状态文档数量相对较少。但对于范围查询和排序，区分度高低的影响相对较小。

  7. 利用部分索引和稀疏索引： 如果只有集合中的一小部分文档需要被某个查询或约束覆盖，考虑使用部分索引或稀疏索引来减小索引大小和维护成本。

  8. 监控索引使用： 使用 db.collection.stats() 或监控工具查看索引的使用情况（比如 misses 和 hits）。长时间未被使用的索引可以考虑删除。

5. 索引的管理

除了创建索引，了解如何查看、删除和监控索引也同样重要。

5.1 查看集合的索引

使用 db.collection.getIndexes() 命令可以查看集合中已有的所有索引。

javascript
db.users.getIndexes()

输出将是一个数组，每个元素代表一个索引的详细信息，包括其名称、键结构、唯一的选项等。

json
[
{
"v" : 2,
"key" : {
"_id" : 1
},
"name" : "_id_"
},
{
"v" : 2,
"key" : {
"username" : 1
},
"name" : "username_1",
"unique" : true
},
{
"v" : 2,
"key" : {
"userId" : 1,
"orderDate" : -1
},
"name" : "user_order_date_idx"
}
]

5.2 删除索引

你可以根据索引的名称或键结构来删除索引。

  • 按名称删除：
    使用 db.collection.dropIndex(<index name>) 命令，其中 <index name> 是通过 getIndexes() 获取的索引名称。
    javascript
    db.users.dropIndex("username_1")
    db.orders.dropIndex("user_order_date_idx")

  • 按键结构删除：
    使用 db.collection.dropIndex(<keyspec>) 命令，其中 <keyspec> 是创建索引时使用的 keys 文档（字段和方向必须完全匹配）。
    javascript
    db.orders.dropIndex({ userId: 1, orderDate: -1 })
    这种方式在不知道索引名称时很有用，但键结构必须与创建时完全一致。

  • 删除所有索引（_id 索引除外）：
    使用 db.collection.dropIndexes() 命令可以删除集合中除 _id 索引之外的所有索引。
    javascript
    db.products.dropIndexes()
    注意： _id 索引是系统自动创建且不能删除的。

5.3 监控索引性能

  • 使用 explain()： 如前所述，这是分析单个查询是否有效使用索引的最重要工具。
  • 数据库 Profiler： 开启 Profiler 可以记录慢查询，并显示它们使用的索引（或没有使用）。
  • 监控工具： 使用 MongoDB 官方的 Cloud Manager/Ops Manager 或第三方监控工具可以查看更全面的指标，如索引命中率、索引大小、索引构建进度等。
  • db.collection.stats()： 提供集合和索引的统计信息，包括索引大小。

6. 最佳实践和进阶技巧

  • 在写入负载较低时构建索引： 尽管现代 MongoDB 支持在线索引构建，但在系统负载较低的时段进行索引构建可以最大程度地减少对生产环境的影响。
  • 先创建索引再导入数据： 如果你要向一个空集合中导入大量数据，最好先创建好所需的索引，然后再进行数据导入。这样导入过程会慢一些，但可以避免在大量数据存在后再进行索引构建的昂贵操作。
  • 考虑索引前缀用于排序： 对于复合索引 (A, B, C)，它可以支持按 (A, B) 或 (A, B, C) 排序的查询。如果查询按 (A) 或 (A, B) 排序，则可以使用索引前缀进行排序。如果查询按 (A, -B) 排序，索引 (A, B) 也可以用于排序，但需要在内存中反转 B 的顺序。如果查询按 (B, C) 排序，则该索引无法直接用于排序。
  • Partial Indexes 的力量： 如果你的查询经常过滤集合中的一个小部分数据（例如，查找所有已完成的订单 status: "completed"），并且这部分数据相对总数据量较小，那么在相关字段上结合 partialFilterExpression: { status: "completed" } 创建部分索引可以显著减小索引大小，同时仍然能加速这些特定查询。
  • Collation 的重要性： 如果你的应用程序需要处理多种语言的字符串或者对大小写、重音敏感的排序和比较有要求，务必在创建索引时考虑使用 collation 选项，并在查询时也指定相同的 collation。

7. 总结

索引是 MongoDB 中提升查询性能、实现唯一性约束和支持特定查询类型的强大工具。createIndex 命令是创建索引的核心方法，通过合理配置 keys 参数定义索引结构，并通过 options 参数调整索引行为（如 unique, sparse, expireAfterSeconds, partialFilterExpression, collation 等），可以创建出满足各种需求的索引。

理解不同索引类型（单字段、复合、多键、地理空间、文本、哈希）的应用场景，学会分析查询计划 (explain()) 来识别性能瓶颈，并遵循选择索引的最佳实践（权衡读写、考虑查询模式、字段顺序、数据分布、避免过度索引），是构建高性能 MongoDB 应用的关键。同时，掌握索引的管理方法（查看、删除、监控）能够帮助你更好地维护数据库的健康和性能。

创建索引是一项持续优化的工作，需要根据应用程序的实际负载和查询模式的变化进行调整。通过本文的指南，希望能帮助你更深入地理解 createIndex，并在你的 MongoDB 应用中充分发挥索引的潜力，构建出更快速、更高效的数据库解决方案。

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部