Elasticsearch (ES) 介绍 – wiki基地

深入浅出：Elasticsearch (ES) 全面介绍

在当今信息爆炸的时代，我们每天都在生成、收集和处理海量的、多样化的数据。从用户点击流、应用程序日志、服务器指标到社交媒体动态、电子商务产品信息，数据量呈指数级增长。如何有效地存储、搜索、分析和理解这些数据，成为了一个巨大的挑战。传统的数据库系统，虽然在结构化数据的事务处理方面表现出色，但在处理非结构化或半结构化数据、执行全文搜索以及进行实时、大规模的分析时，往往显得力不从心。

正是在这样的背景下，Elasticsearch (ES) 应运而生，并迅速成为了处理这些挑战的首选技术之一。它是一个功能强大、开源、分布式的实时搜索与分析引擎，构建在 Apache Lucene™ 库之上。Elasticsearch 不仅仅是一个搜索引擎，它还是一个高度可扩展、易于部署和管理的文档数据库，尤其擅长处理时间序列数据、日志数据、指标数据以及任何需要快速搜索和复杂聚合分析的场景。

本文将带您深入了解 Elasticsearch，包括它的核心概念、架构原理、主要功能、常见用例以及它在整个 Elastic Stack 中的位置。

1. Elasticsearch 是什么？核心定义

简而言之，Elasticsearch 是一个基于 RESTful API 的分布式实时搜索和分析引擎。

分布式 (Distributed): Elasticsearch 被设计为 natively distributed。这意味着它可以在多个服务器（节点）上运行，数据被自动地分散到这些节点上，从而实现水平扩展（横向扩展）并提供高可用性。即使部分节点失效，整个系统仍然可以继续运行。
实时 (Real-time): 虽然不是严格意义上的“实时”到毫秒级别，但 Elasticsearch 的索引和搜索速度非常快，文档从被索引到可被搜索通常只有很短的延迟（通常在几秒内）。这使得它非常适合处理需要快速响应的场景。
搜索与分析引擎 (Search and Analytics Engine): 这是 Elasticsearch 的核心功能。它能够对存储的数据执行闪电般的全文搜索、结构化搜索以及复杂的聚合分析，以提取有价值的洞察。
RESTful API: Elasticsearch 通过标准的 RESTful API 进行交互。这意味着您可以使用任何能够发送 HTTP 请求的客户端（如 cURL、各种编程语言的 HTTP 库）与 Elasticsearch 集群进行通信，操作数据（索引、获取、更新、删除）和执行搜索及分析。
构建于 Lucene 之上: Elasticsearch 利用了 Lucene 这个高性能、功能丰富的全文搜索库。Lucene 提供了核心的索引和搜索功能，而 Elasticsearch 则在其基础上添加了分布式、RESTful API、集群管理、高可用性等特性，使其更易于使用和扩展。

2. 为什么选择 Elasticsearch？它解决了哪些问题？

传统的数据库系统（如关系型数据库）在以下方面存在局限性，而 Elasticsearch 恰好能很好地弥补这些不足：

全文搜索的局限性: 关系型数据库通常使用基于模式匹配的 LIKE 查询进行文本搜索，效率低下且无法理解自然语言的复杂性（如同义词、词根变化、相关性评分等）。Elasticsearch 通过构建倒排索引（Inverted Index）并结合强大的文本分析器，能够提供高性能、高相关的全文搜索。
大规模数据处理的挑战: 传统数据库在数据量巨大时，垂直扩展（升级硬件）的成本很高且有上限。Elasticsearch 的分布式架构允许通过简单地增加节点来实现水平扩展，轻松应对PB级别的数据。
实时性要求高的场景: 对于需要近乎实时地将数据索引并立即搜索的场景（如日志监控、社交媒体feed），传统数据库的批处理或定时索引方式难以满足需求。Elasticsearch 的近实时特性使其非常适合。
处理多样化数据: 现代应用产生的数据格式多样， often schemaless (无固定模式) 或 semi-structured (半结构化)，如 JSON 文档。关系型数据库需要预先定义严格的模式，而 Elasticsearch 原生支持 JSON 文档，并具有灵活的模式处理能力（如动态映射）。
复杂分析和聚合: 除了简单的搜索，很多场景还需要对数据进行统计、分组、趋势分析等复杂操作。Elasticsearch 提供了强大的聚合框架，可以在大规模数据集上快速执行各种统计计算、数据分组等分析任务，并能在 Kibana 中方便地可视化。
高可用性和容错性: 单点故障是传统数据库的常见问题。Elasticsearch 的分布式架构和副本机制提供了内置的高可用性和容错能力，即使有节点宕机，服务也不会中断，数据也不会丢失（取决于副本设置）。

3. Elasticsearch 的核心概念

理解 Elasticsearch，需要掌握几个关键的核心概念：

文档 (Document): Elasticsearch 中存储的最小单元。一个文档是一个 JSON 格式的对象，包含了各种字段（Field）及其对应的值。类似关系型数据库中的一行记录，但更加灵活，每个文档可以有不同的字段集。例如，一篇博客文章、一个商品信息、一条日志记录都可以是一个文档。每个文档都有一个唯一的 ID。
json { "title": "Elasticsearch 入门", "author": "张三", "publish_date": "2023-10-27", "tags": ["搜索", "数据库", "分布式"], "content": "这是一篇介绍 Elasticsearch 的文章..." }
字段 (Field): 文档中的一个键值对。类似关系型数据库中的一列。字段可以是各种数据类型，如字符串、数字、日期、布尔、地理位置等。
索引 (Index): 一个文档的集合，这些文档通常具有相似的特性或用途。类似关系型数据库中的一个数据库（Database）。例如，您可以有一个存储所有产品信息的索引，一个存储所有用户日志的索引。索引是 Elasticsearch 中进行数据管理、分片、复制和搜索的基本单位。每个索引在创建时可以定义其分片数量和副本数量。
类型 (Type): （重要提示：在 Elasticsearch 7.x 版本中已被弃用，并在 8.x 版本中移除。了解它是为了理解旧系统或迁移） 在 Elasticsearch 早期版本中，一个索引可以包含一个或多个类型，类型类似于关系型数据库中的表（Table）。不同类型的文档可以存储在同一个索引中。但由于不同类型中的相同字段可能需要不同的处理方式，这在底层 Lucene 索引层面带来了复杂性，因此在后续版本中被移除，建议每个索引只包含一种类型的文档。
映射 (Mapping): 定义了文档及其字段的结构和数据类型，以及如何处理这些字段（如字符串字段是否进行全文分析，日期字段的格式等）。类似关系型数据库中的表结构（Schema）。映射可以显式定义（Explicit Mapping），也可以由 Elasticsearch 根据文档内容自动推断（Dynamic Mapping）。为了精确控制字段的行为和优化性能，通常建议显式定义映射。
分片 (Shard): 索引被分成多个分片是 Elasticsearch 实现分布式和可扩展性的核心。一个分片是一个独立的 Lucene 索引实例。每个索引可以被水平分割成多个分片，这些分片可以分布在集群的不同节点上。分片有两种类型：
- 主分片 (Primary Shard): 负责索引数据并处理读写请求。当文档被索引时，它会被分配到某个主分片。
- 副本分片 (Replica Shard): 主分片的复制。副本分片不仅提供了数据的冗余备份，防止主分片失效时数据丢失，还可以处理读请求，从而提高搜索的吞吐量。一个主分片可以有零个或多个副本分片。副本分片可以动态调整数量，而主分片数量在索引创建后通常不能修改。
节点 (Node): 一台运行中的 Elasticsearch 实例。一个节点可以是集群中的一部分。节点在集群中可以扮演不同的角色：
- Master Node: 负责管理集群的元数据，如索引的创建/删除、分片的分配、节点的加入/离开等。一个集群在任何时候只有一个主节点处于活跃状态。
- Data Node: 存储数据（分片）并处理数据相关的操作，如索引、搜索、聚合。
- Ingest Node: 负责在文档被索引之前进行预处理，如转换、丰富数据。
- Coordinating Node: 接收客户端的请求（搜索、批量操作等），并将请求路由到适当的分片，然后收集结果并返回给客户端。所有节点默认都可以作为协调节点。
- Machine Learning Node: 处理机器学习相关的任务。
集群 (Cluster): 由一个或多个相互连接的节点组成。一个集群有一个唯一的名称（默认为 elasticsearch）。节点通过网络发现机制加入同一个集群，共同工作以存储和处理数据。集群提供了高可用性和水平扩展能力。

4. Elasticsearch 的核心功能

Elasticsearch 提供了丰富的功能，使其成为一个强大的搜索和分析平台：

分布式和可扩展性 (Distributed & Scalable): 这是 Elasticsearch 最显著的特点。通过分片和副本机制，可以在不中断服务的情况下轻松地通过增加节点来扩展存储和处理能力。数据自动在节点间进行负载均衡。
RESTful API: 所有操作（索引、检索、更新、删除、搜索、管理）都通过标准的 HTTP 请求进行，极大地简化了客户端的开发和集成。
近实时性 (Near Real-time): 文档被索引后很快就可以被搜索到，非常适合需要快速数据反馈的应用。
全文搜索 (Full-text Search): 基于 Lucene，提供强大的文本分析、分词、词干提取、同义词处理、相关性评分等功能，支持复杂查询（短语查询、模糊查询、通配符查询等）。
结构化搜索 (Structured Search): 除了全文搜索，也能对结构化数据进行精确匹配、范围查询、过滤等操作。
聚合分析 (Aggregations): 这是 Elasticsearch 区别于传统搜索引擎的重要功能。它提供了一个强大的框架，可以在搜索结果的基础上进行数据分组、统计计算（求和、平均值、最大值、最小值、计数等）、指标分析等。这使得 Elasticsearch 成为一个强大的分析引擎。
地理位置搜索 (Geospatial Search): 支持存储地理位置数据（经纬度），并进行基于位置的查询，如查找某个半径范围内的文档。
灵活的模式处理 (Flexible Schema Handling): 虽然推荐显式映射，但其动态映射能力使得在数据结构不完全固定时也能快速开始使用。
高可用性和容错性 (High Availability & Fault Tolerance): 副本分片保证了数据冗余，当主分片或节点失效时，副本可以晋升为主分片，确保服务不中断和数据不丢失。集群会自动检测和恢复节点故障。
强大的生态系统 (Rich Ecosystem – Elastic Stack): Elasticsearch 是 Elastic Stack 的核心，配合 Kibana (可视化)、Logstash (数据采集/转换) 和 Beats (轻量级数据采集器)，形成了一个端到端的解决方案，广泛应用于日志管理、指标监控、APM 等领域。

5. Elasticsearch 的架构概览

一个 Elasticsearch 集群通常包含多个节点，每个节点运行一个或多个角色的 Elasticsearch 实例。

数据流 (Data Flow): 当一个文档被索引时，客户端将文档发送到一个协调节点。协调节点根据文档的 ID 计算出它应该存储在哪一个主分片上，并将请求转发给包含该主分片的节点。主分片处理索引请求，完成后将请求转发给其对应的副本分片。当主分片和所有副本分片都成功索引文档后，协调节点才返回成功响应给客户端。
查询流 (Query Flow): 当客户端发送搜索请求时，请求也会到达一个协调节点。协调节点会将搜索请求广播给所有包含相关分片（主分片或副本分片）的节点。每个分片独立执行搜索并返回结果（通常是文档 ID 和相关性得分）。协调节点收集所有分片返回的结果，进行合并、排序，并根据需要获取完整的文档内容，最后将最终结果返回给客户端。使用副本分片处理读请求可以提高搜索的并发能力和吞吐量。
集群管理 (Cluster Management): 集群通过节点间的通信选举出一个主节点。主节点负责维护集群的状态，包括哪些节点在线、哪些索引存在、每个索引有多少分片和副本、每个分片位于哪个节点上等信息。当节点加入、离开或失效时，主节点负责重新分配分片和协调恢复过程。

这种分布式架构带来了以下好处：

线性扩展: 增加节点几乎可以线性地提升集群的吞吐量和存储容量。
高可用性: 副本机制保证了即使部分节点故障，服务依然可用，数据也不会丢失。
负载均衡: 协调节点将请求分散到不同的分片和节点上，平衡了集群的负载。

6. Elasticsearch 的工作原理（索引与搜索）

了解 Elasticsearch 的核心工作原理，特别是倒排索引和分词，对于理解其搜索能力至关重要。

倒排索引 (Inverted Index): 这是 Elasticsearch 实现全文搜索的核心技术。传统数据库（正排索引）是根据文档查找其中包含的词。倒排索引则是根据词查找包含该词的文档。
- 当文档被索引时，文本字段会经过 分析 (Analysis) 过程。
- 分析器 (Analyzer) 包括三个阶段：
  1. 字符过滤器 (Character Filters): 在分词前对原始文本进行处理，如去除HTML标签、转换特殊字符等。
  2. 分词器 (Tokenizer): 将文本分解成独立的词条 (Token)，例如，将句子分成单词。
  3. 词条过滤器 (Token Filters): 对分词器产生的词条进行进一步处理，如转换为小写、去除停用词（如“的”，“是”）、词干提取（将“running”、“ran”转换为“run”）、同义词替换等。
- 经过分析后产生的词条，连同它们在文档中的位置信息，被存储在倒排索引中。
- 倒排索引本质上是一个词条到文档列表的映射。例如：
  - 搜索 -> 文档1, 文档5
  - Elasticsearch -> 文档1, 文档3, 文档7
  - 介绍 -> 文档1, 文档2, 文档5
- 搜索时，查询字符串同样经过分析，产生词条。然后根据这些词条在倒排索引中查找包含它们的文档列表，并结合文档中词条出现的频率、位置等信息计算相关性得分，最终返回排序后的搜索结果。
索引过程:
1. 文档被发送到协调节点。
2. 协调节点计算文档所属的主分片。
3. 请求转发到主分片所在的节点。
4. 主分片对文档进行分析，更新倒排索引。
5. 索引更新操作在一个称为 segment 的小型、独立的 Lucene 索引中进行。
6. segment 写入文件系统缓存，此时文档变为可搜索（这个过程称为 refresh，默认每秒发生一次）。
7. segment 被同步到磁盘（这个过程称为 flush，更持久化）。
8. 主分片将索引请求复制到副本分片，副本分片执行相同的索引过程。
9. 主分片收到所有副本成功的响应后，向协调节点报告成功。
10. 协调节点向客户端返回成功响应。
搜索过程:
1. 搜索请求发送到协调节点。
2. 协调节点确定需要搜索哪些分片（通常是所有相关索引的主分片和副本分片中的一部分）。
3. 协调节点将搜索请求发送给这些分片。
4. 每个分片在其本地的倒排索引中执行搜索，并返回一个局部结果集（通常包含文档 ID 和相关性得分）。
5. 协调节点收集所有分片返回的局部结果，进行合并和排序。
6. 协调节点根据排序结果，向相关的分片再次发出请求，获取排名靠前的完整文档内容（这个阶段称为 fetch）。
7. 协调节点将最终结果集返回给客户端。

这个过程充分利用了分布式系统的并行处理能力，使得 Elasticsearch 能够在海量数据上实现快速搜索。

7. Elasticsearch 的常见用例

由于其强大的搜索、分析和扩展能力，Elasticsearch 被广泛应用于各种场景：

日志和事件数据分析: 这是 ELK Stack (现在更常称为 Elastic Stack) 最经典的用例。Logstash 或 Beats 负责收集应用程序日志、服务器日志、安全日志等，将其发送到 Elasticsearch 进行索引。然后使用 Kibana 对这些日志进行实时搜索、过滤、可视化、监控和告警。这对于故障排查、安全审计、用户行为分析等至关重要。
应用内搜索 (Application Search): 为网站或移动应用提供快速、相关的搜索功能。例如，电子商务网站的产品搜索、新闻网站的文章搜索、企业内部文档搜索等。Elasticsearch 强大的全文搜索和相关性排序能力可以显著提升用户体验。
业务分析 (Business Analytics): 将业务数据（如销售数据、用户行为数据）导入 Elasticsearch，利用其聚合功能进行实时或近实时的分析，生成报表和仪表盘，帮助业务决策。
安全信息和事件管理 (SIEM): 收集并分析安全相关的日志和事件，用于威胁检测、安全监控和调查。Elasticsearch 的高性能搜索和聚合能力是 SIEM 系统的关键组件。
度量指标分析 (Metrics Analysis): 收集服务器、应用程序等产生的各种性能指标，存储在 Elasticsearch 中，并通过 Kibana 进行可视化监控和趋势分析。
APM (Application Performance Monitoring): 收集应用程序的分布式跟踪、指标和日志，用于分析应用程序的性能瓶颈和错误。
地理位置数据处理: 存储和搜索带有地理位置信息的文档，如查找附近的餐厅、绘制热力图等。
自动完成和搜索建议 (Autocompletion & Search Suggest): 基于用户输入的历史数据，快速提供搜索建议或自动完成功能。

8. Elastic Stack 生态系统

Elasticsearch 通常不是独立使用的，而是作为 Elastic Stack 的核心组件。Elastic Stack 是一个集成的数据处理和分析平台，主要包括：

Beats: 轻量级的数据采集器，安装在服务器上，用于采集不同类型的数据（如 Filebeat 采集日志文件，Metricbeat 采集系统指标，Packetbeat 采集网络数据等），并将数据发送到 Logstash 或 Elasticsearch。
Logstash: 一个强大的数据处理管道，能够从各种来源采集数据，进行转换、过滤、富化等处理，然后将数据发送到目的地（最常见的是 Elasticsearch）。
Elasticsearch: 存储、搜索和分析数据的核心引擎。
Kibana: 一个功能强大的数据可视化和管理工具，通过浏览器界面与 Elasticsearch 交互，可以创建搜索界面、构建各种图表和仪表盘，监控集群状态等。

除了这四个核心组件，Elastic Stack 还提供了许多其他功能（部分属于商业许可的 X-Pack 特性），如：

安全 (Security): 用户认证、授权、加密通信等。
监控 (Monitoring): 监控 Elastic Stack 组件自身的性能和状态。
告警 (Alerting): 基于数据阈值或异常模式触发告警。
机器学习 (Machine Learning): 自动检测时间序列数据中的异常、预测未来趋势等。
SQL/Canvas 等: 提供不同的数据访问和可视化方式。

这个完整的生态系统使得从数据采集到分析和可视化的整个流程变得高效和便捷。

9. 与传统数据库的比较

Elasticsearch 和传统数据库（如关系型数据库或 NoSQL 数据库）在设计目标和适用场景上有所不同：

数据模型: 传统关系型数据库使用严格的表格模式，强调 ACID 事务。Elasticsearch 是一个面向文档的数据库，使用灵活的 JSON 格式，更适合半结构化和非结构化数据。它优先考虑搜索和分析性能，而不是强 ACID 事务。
数据存储: 关系型数据库通常基于 B-tree 索引，优化随机读写。Elasticsearch 基于 Lucene 的倒排索引，优化全文搜索和范围查询。
主要用途: 关系型数据库是事务处理和结构化数据管理的基石。Elasticsearch 主要用于搜索、日志/指标分析、大数据探索等。
扩展性: Elasticsearch 原生支持水平扩展。传统数据库的水平扩展通常更复杂或成本更高。
实时性 vs 事务性: Elasticsearch 提供近实时的数据可搜索性。关系型数据库提供强一致性和事务保证。

并非说 Elasticsearch 会取代传统数据库，它们通常是互补的。很多应用会将事务性数据存储在关系型数据库中，同时将需要快速搜索和分析的数据同步到 Elasticsearch。

10. 入门和学习资源

要开始使用 Elasticsearch，您可以：

下载和安装: 访问 Elastic 官网下载适合您操作系统的最新版本。安装过程通常很简单。
启动集群: 运行 Elasticsearch 启动脚本。默认情况下，单个节点会形成一个单节点集群。
使用 REST API: 使用 cURL 或其他 HTTP 客户端与集群交互，尝试索引文档、获取文档、执行简单的搜索。
- 索引一个文档: PUT /my_index/_doc/1 -d '{"field": "value"}'
- 获取一个文档: GET /my_index/_doc/1
- 搜索: GET /my_index/_search -d '{"query": {"match_all": {}}}'
安装 Kibana: 下载并启动 Kibana，连接到您的 Elasticsearch 集群。您可以通过 Kibana 的 Dev Tools 界面执行 API 请求，并通过 Discover、Visualize、Dashboard 等功能进行数据探索和可视化。
学习官方文档: Elastic 官方提供了非常详细和高质量的文档，是学习的最佳资源。
在线课程和教程: 有很多在线平台提供 Elasticsearch 的课程和实践教程。

11. 总结与展望

Elasticsearch 以其卓越的速度、可扩展性、灵活性以及强大的搜索和分析能力，已经成为现代数据处理领域不可或缺的工具。无论您是需要构建高性能的应用内搜索、处理海量的日志数据、进行实时的业务分析，还是监控系统的运行状况，Elasticsearch 都能提供强大的支持。

作为 Elastic Stack 的核心，它与 Beats、Logstash 和 Kibana 一起，提供了一个从数据采集到洞察获取的完整解决方案。随着技术的不断发展，Elasticsearch 也在持续演进，不断引入新的功能，如更智能的搜索算法、更强大的机器学习能力等。

深入理解 Elasticsearch 的核心概念和工作原理，掌握其强大的功能，将使您能够更有效地处理和利用海量数据，释放数据的巨大潜力。

希望这篇文章为您提供了对 Elasticsearch 全面而深入的介绍。祝您在使用 Elasticsearch 的旅程中顺利和高效！