Elasticsearch 教程：从入门到精通 – wiki基地

作者： /

Elasticsearch 教程：从入门到精通

前言：数据洪流中的灯塔

在当今数据爆炸的时代，无论是社交媒体的动态、电商平台的商品信息、海量的系统日志，还是物联网设备传回的实时数据，我们都面临着一个共同的挑战：如何高效地存储、检索、分析和可视化这些数据？关系型数据库在应对复杂、非结构化或半结构化数据的全文检索、实时分析和大规模分布式存储时，往往显得力不从心。

正是在这样的背景下，Elasticsearch（简称ES）应运而生。它不仅仅是一个搜索引擎，更是一个强大的分布式、RESTful 风格的搜索和分析引擎，基于Apache Lucene库构建。ES以其卓越的全文检索能力、实时的分析性能、高可伸缩性和易用性，迅速成为大数据领域不可或缺的组件，广泛应用于日志分析（ELK Stack的核心）、电商搜索、实时监控、内容管理等多个场景。

本教程旨在带领读者从零开始，逐步深入Elasticsearch的世界，直至掌握其核心概念、操作方法和高级应用，实现从“入门”到“精通”的跨越。

第一章：初识Elasticsearch——核心概念与快速上手

1.1 什么是Elasticsearch？为何选择它？

Elasticsearch是一个开源的、分布式搜索和分析引擎。它能够快速地存储、搜索和分析大数据。其核心特点包括：
* 分布式： 自动处理数据的分片和复制，保证高可用性和可伸缩性。
* RESTful API： 通过HTTP和JSON进行交互，易于开发和集成。
* 实时性： 近实时地（near real-time）进行数据索引和搜索。
* 全文检索： 强大的文本分析能力，支持复杂的搜索查询。
* 分析聚合： 内置强大的聚合功能，可以对数据进行复杂的统计和分析。

Elastic Stack（ELK Stack） 是Elasticsearch最经典的组合，包括：
* Elasticsearch： 存储、搜索和分析数据。
* Kibana： 数据可视化和管理界面。
* Logstash： 数据收集、转换和传输工具。
* Beats： 轻量级数据收集器，如Filebeat（日志）、Metricbeat（指标）。

1.2 核心术语解读

在深入学习之前，理解Elasticsearch的几个核心概念至关重要：

  • 集群（Cluster）： 一个或多个节点（Node）的集合，共同持有整个数据并提供索引和搜索能力。每个集群都有一个唯一的名称，默认为elasticsearch。
  • 节点（Node）： 一个Elasticsearch实例。可以是主节点（Master Node，负责集群管理）、数据节点（Data Node，存储数据）、协调节点（Coordinating Node，处理请求）等。
  • 索引（Index）： 类似关系型数据库中的“数据库”。它是具有相似特征的文档集合，是ES中数据的逻辑命名空间。例如，可以有一个索引用于存储用户数据，另一个索引用于存储订单数据。
  • 类型（Type）： （在ES 7.0+版本中已弃用，建议一个索引只包含一种类型的数据，或直接用索引名代替类型。旧版本中类似关系型数据库中的“表”）。
  • 文档（Document）： 存储在Elasticsearch中的一个最小单位，类似关系型数据库中的“行”。它是一个JSON格式的数据。每个文档都有一个唯一的ID。
  • 字段（Field）： 文档中的一个键值对。类似关系型数据库中的“列”。
  • 映射（Mapping）： 定义了文档及其字段的类型、属性以及如何被索引和存储。类似关系型数据库中的“表结构定义”。
  • 分片（Shard）： 索引被水平分割成多份，每一份就是一个分片。分片是ES分布式存储和扩展性的基础。每个分片都是一个独立的Lucene索引。
  • 副本（Replica）： 分片的副本，用于提高数据冗余和查询吞吐量。一个主分片可以有零个或多个副本。

1.3 安装与启动（以Docker为例）

为了快速启动，我们推荐使用Docker。

  1. 安装Docker (如果尚未安装)。
  2. 拉取Elasticsearch镜像：
    bash
    docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.0 # 选择一个稳定版本

  3. 启动Elasticsearch容器：
    bash
    docker run -d --name elasticsearch \
    -p 9200:9200 -p 9300:9300 \
    -e "discovery.type=single-node" \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    docker.elastic.co/elasticsearch/elasticsearch:7.17.0

    • -d：后台运行
    • --name elasticsearch：容器命名
    • -p 9200:9200：映射HTTP端口
    • -p 9300:9300：映射节点间通信端口
    • discovery.type=single-node：单节点模式（开发测试用）
    • ES_JAVA_OPTS：设置JVM内存，根据实际情况调整。

  4. 验证Elasticsearch是否运行：
    打开浏览器访问 http://localhost:9200，如果看到Elasticsearch集群信息（JSON格式），则表示成功。

1.4 第一个Elasticsearch操作：CRUD

我们将使用curl命令来与Elasticsearch进行交互。

1. 创建/索引文档（Create/Index Document）
将一个JSON文档添加到名为products的索引中，并指定ID为1。

bash
curl -X PUT "localhost:9200/products/_doc/1?pretty" -H 'Content-Type: application/json' -d'
{
"name": "Elasticsearch 入门指南",
"description": "一本全面介绍Elasticsearch基础到高级概念的书籍。",
"price": 99.99,
"tags": ["技术", "数据库", "搜索"],
"release_date": "2023-01-15"
}
'
* _doc：在ES 7.0+版本中，这是推荐的文档类型名称。
* pretty：使JSON输出更易读。

2. 获取文档（Read Document）
根据ID获取文档。

bash
curl -X GET "localhost:9200/products/_doc/1?pretty"

3. 更新文档（Update Document）
修改文档中的部分字段，而不是替换整个文档。使用_update API。

bash
curl -X POST "localhost:9200/products/_update/1?pretty" -H 'Content-Type: application/json' -d'
{
"doc": {
"price": 88.88,
"version": "v2.0"
}
}
'

4. 删除文档（Delete Document）
根据ID删除文档。

bash
curl -X DELETE "localhost:9200/products/_doc/1?pretty"

第二章：深入理解Elasticsearch——映射、查询与聚合

2.1 映射（Mapping）：数据的骨架

映射是Elasticsearch中定义数据结构和数据类型的过程，它告诉Elasticsearch如何处理文档中的每个字段。正确的映射对于搜索的准确性和性能至关重要。

核心字段类型：
* text： 用于全文检索的文本字段。会被分析器（Analyzer）处理，分词、标准化。
* keyword： 用于精确匹配的字符串字段。不会被分析器处理，通常用于过滤、排序和聚合。
* integer, long, float, double： 数字类型。
* boolean： 布尔类型。
* date： 日期类型。
* object： JSON对象。
* nested： 用于处理JSON对象数组，使其内部的每个对象作为一个独立单元被索引。
* geo_point： 地理位置坐标，用于地理空间搜索。

动态映射与显式映射：
* 动态映射（Dynamic Mapping）： 当ES接收到新文档时，如果其中包含ES未知的字段，ES会尝试自动推断其类型并创建映射。这在开发阶段很方便，但在生产环境可能导致不期望的映射（例如，数字被映射为text）。
* 显式映射（Explicit Mapping）： 手动定义字段的类型和属性。这是生产环境的最佳实践，可以确保数据处理的准确性。

示例：创建带有显式映射的索引

bash
curl -X PUT "localhost:9200/books?pretty" -H 'Content-Type: application/json' -d'
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
},
"mappings": {
"properties": {
"title": {
"type": "text",
"analyzer": "ik_smart" # 使用IK分词器（中文分词）
},
"author": {
"type": "keyword"
},
"publish_date": {
"type": "date",
"format": "yyyy-MM-dd"
},
"price": {
"type": "float"
},
"tags": {
"type": "keyword"
},
"description": {
"type": "text",
"analyzer": "ik_max_word"
}
}
}
}
'
* number_of_shards: 主分片数量，单节点建议1个。
* number_of_replicas: 副本分片数量，单节点建议0个。
* analyzer: 指定用于文本分析的分词器。IK分词器是流行的中文分词器，需要额外安装插件。

2.2 查询语言DSL（Query DSL）：搜索的核心

Elasticsearch的查询是基于JSON的领域特定语言（DSL）。所有查询都封装在query对象中。

2.2.1 基础查询

  • match_all 查询： 匹配所有文档。
    bash
    curl -X GET "localhost:9200/products/_search?pretty" -H 'Content-Type: application/json' -d'
    {
    "query": {
    "match_all": {}
    }
    }
    '

  • match 查询： 最常用的全文检索查询，会根据字段类型自动进行分词处理。
    bash
    curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
    {
    "query": {
    "match": {
    "title": "Elasticsearch 指南"
    }
    }
    }
    '

  • term 查询： 精确匹配（不分词）。通常用于keyword、数字、日期字段。
    bash
    curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
    {
    "query": {
    "term": {
    "author": "张三"
    }
    }
    }
    '

2.2.2 复合查询：bool 查询

bool 查询是Elasticsearch中最强大的复合查询，它允许组合多个查询子句，并以布尔逻辑（AND, OR, NOT）来组合它们。

  • must： 必须匹配这些子句，相当于AND。对评分有贡献。
  • should： 应该匹配这些子句，相当于OR。对评分有贡献。
  • must_not： 必须不匹配这些子句，相当于NOT。不贡献评分。
  • filter： 必须匹配这些子句，但它们以过滤模式执行，不参与评分，且可被缓存，性能更高。通常用于精确匹配和范围过滤。

示例：复杂查询
搜索标题包含“Elasticsearch”且价格低于100，作者是“张三”或“李四”的书籍。

bash
curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
{
"query": {
"bool": {
"must": [
{ "match": { "title": "Elasticsearch" } }
],
"filter": [
{ "range": { "price": { "lt": 100 } } } # 小于100
],
"should": [
{ "term": { "author": "张三" } },
{ "term": { "author": "李四" } }
],
"minimum_should_match": 1 # should中至少匹配一个
}
}
}
'

2.2.3 排序与分页

  • 排序（Sort）： 默认按相关性得分（_score）降序排序。
    bash
    curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
    {
    "query": { "match_all": {} },
    "sort": [
    { "publish_date": { "order": "desc" } }, # 按出版日期降序
    { "price": { "order": "asc" } } # 再按价格升序
    ]
    }
    '

  • 分页（Pagination）： 使用from（起始偏移量）和size（每页大小）。
    bash
    curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
    {
    "query": { "match_all": {} },
    "from": 10, # 从第11条开始
    "size": 5 # 每页5条
    }
    '
    注意： from/size 深度分页在大数据量下性能较差，生产环境推荐使用 scroll 或 search_after。

2.3 聚合（Aggregations）：数据分析的利器

聚合是Elasticsearch最强大的功能之一，它允许你对查询结果进行统计分析，生成各种报告和指标。聚合通常分为两大类：

  • 度量聚合（Metric Aggregations）： 计算字段的某个度量值，如总和、平均值、最大值、最小值、计数等。

    • sum：求和
    • avg：平均值
    • min：最小值
    • max：最大值
    • value_count：非空值的数量
    • cardinality：基数（近似去重计数）

  • 桶聚合（Bucket Aggregations）： 将文档分组到不同的“桶”中，每个桶代表一个类别。

    • terms：按字段值分组（最常用）。
    • range：按数值范围分组。
    • date_range：按日期范围分组。
    • histogram：按数值间隔分组。
    • date_histogram：按日期间隔分组。

示例：聚合查询

  1. 统计每种标签的书籍数量：
    bash
    curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
    {
    "size": 0, # 不返回文档，只返回聚合结果
    "aggs": {
    "tags_count": {
    "terms": {
    "field": "tags.keyword", # 对keyword字段进行terms聚合
    "size": 10 # 返回前10个标签
    }
    }
    }
    }
    '

  2. 统计不同标签下的平均价格： (嵌套聚合)
    bash
    curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
    {
    "size": 0,
    "aggs": {
    "tags_avg_price": {
    "terms": {
    "field": "tags.keyword"
    },
    "aggs": {
    "avg_price": {
    "avg": {
    "field": "price"
    }
    }
    }
    }
    }
    }
    '

第三章：进阶之路——高级特性与生态系统

3.1 文本分析器（Analyzers）与IK分词器

文本分析器是Elasticsearch处理文本字段的核心。它负责将原始文本转换为可搜索的“词项”（tokens）。一个分析器由字符过滤器（Character Filters）、分词器（Tokenizer）和词项过滤器（Token Filters）组成。

  • standard 分析器： 默认分析器，对英文、数字等效果较好。
  • 中文分词： 对于中文，需要安装专门的中文分词插件，如 IK Analysis。
    • 安装步骤：
      1. 进入Elasticsearch容器内部：docker exec -it elasticsearch bash
      2. 安装插件：bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.0/elasticsearch-analysis-ik-7.17.0.zip (确保版本匹配)
      3. 重启Elasticsearch容器：docker restart elasticsearch
    • IK分词模式：
      • ik_smart：最少切分，倾向于长词。
      • ik_max_word：最细粒度切分，穷尽所有可能的词。

3.2 别名（Aliases）

别名是索引的逻辑名称，可以指向一个或多个索引。它的主要用途：
* 零停机时间索引重建： 可以创建一个新索引，索引数据，然后将别名指向新索引，再删除旧索引。
* 简化查询： 客户端只需知道别名，无需关心底层具体是哪个索引。
* 按条件路由： 基于过滤器将写操作路由到不同的索引。

示例：
“`bash

创建别名

curl -X POST “localhost:9200/_aliases?pretty” -H ‘Content-Type: application/json’ -d’
{
“actions”: [
{
“add”: {
“index”: “books”,
“alias”: “my_books_alias”
}
}
]
}
‘

通过别名查询

curl -X GET “localhost:9200/my_books_alias/_search?pretty” -H ‘Content-Type: application/json’ -d’
{
“query”: { “match_all”: {} }
}
‘
“`

3.3 快照与恢复（Snapshot & Restore）

快照是Elasticsearch集群的备份机制，可以将集群状态和数据备份到共享文件系统、S3、HDFS等仓库中。

示例：
1. 注册仓库： (需要修改ES配置允许文件系统访问)
bash
curl -X PUT "localhost:9200/_snapshot/my_backup_repo?pretty" -H 'Content-Type: application/json' -d'
{
"type": "fs",
"settings": {
"location": "/usr/share/elasticsearch/snapshots" # 需在容器内配置卷映射
}
}
'
2. 创建快照：
bash
curl -X PUT "localhost:9200/_snapshot/my_backup_repo/snapshot_1?wait_for_completion=true&pretty"
3. 恢复快照：
bash
curl -X POST "localhost:9200/_snapshot/my_backup_repo/snapshot_1/_restore?pretty"

3.4 Kibana：可视化与管理利器

Kibana是Elastic Stack中不可或缺的一部分，它提供了一个强大的Web界面，用于：
* 数据探索（Discover）： 实时查看和搜索数据。
* 可视化（Visualize）： 创建各种图表、仪表盘来展示数据趋势和模式。
* 仪表盘（Dashboard）： 组合多个可视化图表，形成全面的数据监控面板。
* 开发工具（Dev Tools）： 提供一个控制台，可以直接向Elasticsearch发送REST请求。
* 管理（Management）： 管理索引、快照、用户等。

启动Kibana容器：
bash
docker run -d --name kibana \
-p 5601:5601 \
-e "ELASTICSEARCH_HOSTS=http://elasticsearch:9200" \
--link elasticsearch:elasticsearch \
docker.elastic.co/kibana/kibana:7.17.0
访问 http://localhost:5601 即可进入Kibana界面。

3.5 Logstash & Beats：数据采集与处理

  • Logstash： 强大的数据处理管道，能够从多种源（文件、数据库、消息队列等）采集数据，进行丰富的转换、过滤和增强，然后输出到Elasticsearch。适用于复杂的数据 ETL 场景。
  • Beats： 轻量级的数据收集器家族，针对特定数据源进行优化。例如：
    • Filebeat： 收集日志文件。
    • Metricbeat： 收集系统和服务的度量指标。
    • Packetbeat： 收集网络数据。
    • Beats通常直接将数据发送到Elasticsearch或Logstash。

第四章：从精通到实践——生产环境的考量与最佳实践

将Elasticsearch部署到生产环境，需要考虑性能、可用性、可靠性和安全性。

4.1 集群规划与硬件选型

  • 节点角色分离： 大型集群中，建议分离主节点（Master-eligible Node）、数据节点（Data Node）、协调节点（Coordinating Node）。主节点负责集群管理，数据节点负责存储数据和处理读写请求。
  • 内存： Elasticsearch严重依赖JVM堆内存和文件系统缓存。JVM堆内存通常设置为物理内存的50%，不超过32GB（因为JVM压缩指针的优化）。
  • CPU： 用于查询、索引、聚合等计算密集型操作，核心数越多越好。
  • 磁盘： SSD硬盘是首选，提供更快的读写速度。数据路径应独立于操作系统。
  • 网络： 高带宽、低延迟的网络对于分布式集群至关重要。

4.2 索引设计与分片策略

  • 合理的分片数量：
    • 过多的分片会增加管理开销，降低性能。
    • 过少的分片会限制集群的扩展性。
    • 经验法则：每个分片大小在20-50GB之间是比较理想的。分片数量应是数据节点数量的整数倍，以实现均衡分布。
  • 副本数量： 通常设置为1-2个副本。
    • number_of_replicas: 1：至少需要两个数据节点才能保证可用性。
    • 副本数越多，读吞吐量越大，但索引写入开销也越大，同时占用更多存储空间。

4.3 性能优化

  • 批量操作： 使用_bulk API进行批量索引、更新、删除，显著提高吞吐量。
  • 写优化：
    • 禁用_all字段（ES 6.x已默认禁用）： 减少索引大小。
    • 合理使用refresh_interval： 索引写入后多久可见。默认1秒，如果对实时性要求不高，可以适当延长（如30秒），减少刷新频率，提高写入吞吐。
    • translog刷盘频率： 控制数据持久化到磁盘的频率。
  • 读优化：
    • 使用filter上下文： bool查询中，filter子句不参与评分，且可被缓存，性能优于must。
    • 缓存： 查询结果缓存、字段数据缓存。
    • 避免深度分页： 大量数据时，使用scroll或search_after。
    • 查询优化： 尽量使用keyword而非text进行精确匹配，避免过多的通配符或正则表达式查询。
  • 映射优化： 避免过多的字段，特别是动态创建的字段。

4.4 监控与报警

  • Elastic Stack Monitoring： Kibana内置的Stack Monitoring功能可以全面监控Elasticsearch集群、Kibana、Logstash等组件的运行状况。
  • Metricbeat： 采集ES节点和操作系统的指标数据。
  • 报警： 使用Watcher（X-Pack功能）或Alerting（Kibana）设置基于阈值的报警，及时发现问题。

4.5 安全性

生产环境必须启用安全功能（X-Pack Security），包括：
* 用户认证与授权： 用户名/密码、LDAP、Kerberos等。
* 角色管理： 定义不同用户对索引、字段、API的访问权限。
* 传输层安全（TLS/SSL）： 加密节点间通信和客户端与ES的通信。
* 审计日志： 记录所有对集群的访问和操作。

4.6 备份与恢复策略

  • 定期快照： 制定定期的全量和增量快照策略。
  • 异地存储： 将快照存储在独立于集群的、安全的存储介质（如云存储S3）中，以防物理灾难。
  • 灾难恢复演练： 定期进行恢复演练，确保备份数据可用且恢复流程可靠。

结语：持续探索，精益求精

恭喜你，通过本教程的学习，你已经掌握了Elasticsearch从基础概念到高级特性，再到生产环境实践的全面知识。从最初的文档增删改查，到复杂的布尔查询和多维度聚合，再到集群规划和性能调优，你已经踏上了Elasticsearch“精通”之路。

然而，Elasticsearch的世界远不止于此。它是一个持续发展的生态系统，新的版本不断推出，带来更多强大的功能和优化。要真正成为Elasticsearch专家，还需要：

  • 阅读官方文档： 最权威、最详细的资料来源。
  • 参与社区： 提问、学习他人的经验、贡献自己的力量。
  • 动手实践： 搭建更多复杂的集群，解决实际业务问题。
  • 关注新版本： 及时了解新功能和最佳实践的更新。

数据是新时代的石油，而Elasticsearch则是挖掘、提炼和利用这些石油的强大工具。愿你在Elasticsearch的探索之路上越走越远，用数据点亮智慧之光！

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部