AWS OpenSearch Service 介绍 – wiki基地

作者： /

深入探索 AWS OpenSearch Service：一站式托管式搜索与分析平台

在当今数据爆炸的时代，如何高效地存储、检索、分析和可视化海量数据成为了企业面临的核心挑战。无论是应用程序的全文搜索、网站的站内搜索、日志数据的实时分析、还是安全事件的监控与告警，一个强大且易于管理的搜索与分析引擎都是不可或缺的工具。

长久以来，Elasticsearch 因其强大的能力和灵活的特性，成为了这一领域的佼佼者。然而，自建和运维一个生产级的 Elasticsearch 集群是一项复杂且耗时的工作，需要专业的知识和大量的精力来处理集群规划、安装、配置、扩展、升级、备份、监控以及故障排除等一系列问题。

为了解决这一痛点，并为用户提供一个更简单、更可靠、更安全的方式来利用 Elasticsearch 的能力（后来演变为 OpenSearch），Amazon Web Services（AWS）推出了 Amazon Elasticsearch Service。随着开源社区的发展，Elasticsearch 的许可模式发生了变化，AWS 积极响应社区需求，参与并主导了 OpenSearch 开源项目的创建，并在 2021 年将服务更名为 AWS OpenSearch Service，以反映其基于 OpenSearch 开源项目的新身份。

本文将带您深入了解 AWS OpenSearch Service，详细阐述它是什么、为何使用它、其核心特性、常见使用场景、基本工作原理以及如何开始使用它。

一、AWS OpenSearch Service 是什么？

AWS OpenSearch Service 是一项完全托管式的服务，旨在简化在 AWS 云上部署、保护、操作和扩展 OpenSearch 集群的过程。它使得用户能够轻松地利用 OpenSearch 及其相关的可视化工具 OpenSearch Dashboards（原 Kibana）来执行交互式日志分析、实时应用程序监控、网站搜索、大数据分析等任务。

“完全托管式”是其最核心的特征。这意味着 AWS 为您处理了 OpenSearch 集群的许多底层管理任务，包括：

  • 硬件预置与配置： 您只需选择所需的实例类型和存储，AWS 会自动为您启动和配置集群。
  • 软件安装与升级： AWS 负责安装 OpenSearch 软件，并提供按需升级的能力。
  • 补丁管理： 安全补丁和软件更新由 AWS 负责应用。
  • 备份与恢复： 自动的每日快照备份，并提供便捷的恢复机制。
  • 监控与告警： 与 Amazon CloudWatch 集成，提供丰富的集群指标监控，并可设置告警。
  • 高可用性： 支持跨可用区部署，确保集群的弹性。
  • 故障检测与替换： AWS 会自动检测节点故障并替换它们。
  • 容量扩展： 可以在不停机的情况下轻松地增加或减少节点数量和存储容量。

通过承担这些繁重的运维任务，AWS OpenSearch Service 使您的团队能够将更多精力放在核心业务逻辑和数据分析上，而不是底层基础设施的管理。

二、从 Elasticsearch 到 OpenSearch：历史背景

了解 AWS OpenSearch Service 的历史背景对于理解其现在的位置非常重要。

Amazon Elasticsearch Service 最初是在 Elasticsearch 开源项目的基础上构建的。它为用户提供了一个便捷的托管选项，避免了自建 Elasticsearch 集群的复杂性。该服务取得了巨大的成功，被广泛应用于各种场景。

然而，2021 年，Elastic NV（Elasticsearch 的创建者）宣布改变 Elasticsearch 和 Kibana 的许可模式，从 Apache 2.0 许可切换到服务器端公共许可证（SSPL）和 Elastic 许可证。这两种许可都不是被广泛接受的开源许可。

为了确保用户能够继续拥有一个真正开源、社区驱动的搜索和分析引擎，并基于 Apache 2.0 许可提供托管服务，AWS 主导并联合其他贡献者启动了 OpenSearch 开源项目。OpenSearch 项目包含了 OpenSearch 引擎（基于 Elasticsearch 7.10.2 分叉）和 OpenSearch Dashboards（基于 Kibana 7.10.2 分叉）。

随后，Amazon Elasticsearch Service 被更名为 AWS OpenSearch Service。尽管名称变更，该服务仍然支持运行 OpenSearch 和旧版本的 Elasticsearch 引擎，以便为现有用户提供平滑过渡。新的功能开发将主要基于 OpenSearch 引擎。

这个历史背景解释了为什么服务名称中包含“OpenSearch”，以及它与 Elasticsearch 的渊源和区别。AWS OpenSearch Service 致力于提供一个基于强大、开源、社区驱动的搜索和分析技术的托管式解决方案。

三、AWS OpenSearch Service 的核心特性与优势

AWS OpenSearch Service 集成了 OpenSearch 开源项目的强大功能，并在此基础上提供了增强的企业级特性和便利性。以下是其主要特性和优势：

  1. 完全托管式服务： 这是最大的优势。正如前文所述，AWS 负责集群的几乎所有运维工作，极大地降低了用户的管理负担和运营成本。
  2. 可扩展性与弹性：
    • 垂直扩展： 可以根据需求选择不同配置的 EC2 实例作为数据节点、专用主节点等，支持多种实例类型（通用型、计算优化型、内存优化型等）。
    • 水平扩展： 可以轻松地通过增加或减少节点数量来调整集群容量，以适应数据量和查询负载的变化。这一过程通常可以在不停机的情况下完成。
  3. 高可用性与耐久性：
    • 多可用区（Multi-AZ）部署： 支持将集群跨越多个 AWS 可用区部署，即使一个可用区发生故障，集群仍然可以继续运行，提高了服务的可用性。数据副本（Replica Shards）在不同可用区之间分布。
    • 自动快照： 服务每天自动为您的集群进行快照，并存储在 Amazon S3 中，提供数据的耐久性。您可以随时从快照恢复集群。
    • 自动节点替换： 当服务检测到节点故障时，会自动启动新的节点并恢复数据，尽量减少对服务的影响。
  4. 强大的搜索和分析能力：
    • 全文搜索： 支持复杂的全文搜索查询、相关性评分、高亮显示、模糊查询等功能。
    • 结构化搜索： 支持精确匹配、范围查询、过滤等基于结构化数据的搜索。
    • 聚合分析（Aggregations）： 强大的聚合框架，支持对数据进行分组、统计、计算指标（平均值、总和、最大值、最小值等），用于构建分析报表和图表。
    • 地理空间搜索： 支持对地理位置数据进行索引和查询，如查找附近的位置。
    • 时间序列数据处理： 特别适合索引和分析日志、指标等时间序列数据，支持按时间范围查询和聚合。
  5. 集成 OpenSearch Dashboards： 服务内置集成了 OpenSearch Dashboards，提供了一个直观的 Web 界面，用于：
    • 数据探索与可视化： 构建各种图表、表格、地图等，以不同的方式展示数据。
    • 构建仪表盘（Dashboards）： 将多个可视化组件组合在一起，创建交互式的监控和分析仪表盘。
    • 开发工具（Dev Tools）： 提供控制台界面，方便执行 OpenSearch REST API 调用，进行索引管理和查询测试。
  6. 丰富的安全特性： AWS OpenSearch Service 提供了多层次的安全控制：
    • 网络隔离： 可以在 Amazon Virtual Private Cloud (VPC) 内部署 OpenSearch 集群，实现网络隔离和私有访问。
    • IAM 集成： 与 AWS Identity and Access Management (IAM) 无缝集成，可以通过 IAM 用户和角色控制对 OpenSearch Service API 和 Dashboards 的访问权限。
    • 精细粒度访问控制 (Fine-Grained Access Control – FGAC)： 基于 OpenSearch 安全插件，提供对索引、文档、字段甚至 API 的细粒度访问控制。可以定义角色和用户，并将权限授予特定的数据切片。
    • 加密： 支持静态数据加密（使用 KMS 管理的密钥）和传输中数据加密（使用 HTTPS），确保数据在存储和传输过程中的安全。
    • 访问策略： 可以通过基于资源的访问策略或基于身份的 IAM 策略来控制对 OpenSearch 域的访问。
  7. 与 AWS 生态系统集成： 与多种 AWS 服务无缝集成，简化数据采集、处理和分析流程：
    • Amazon Kinesis： 用于实时流数据采集。
    • Amazon S3： 用于存储原始数据或备份快照。
    • AWS Lambda： 用于处理事件触发的数据转换和加载。
    • Amazon CloudWatch： 用于集群性能指标监控和告警。
    • AWS Identity and Access Management (IAM)： 用于访问控制。
    • Amazon VPC： 用于网络隔离。
  8. 分层存储（Tiered Storage）： 提供多种存储类型以平衡成本和性能：
    • 热存储 (Hot Storage)： 基于实例存储或 EBS Volumes 的高性能存储，适用于需要频繁访问和快速查询的最新数据。
    • 超暖存储 (UltraWarm Storage)： 一种成本优化型存储层，利用 S3 和高级缓存技术，适用于访问频率较低但仍需查询的数据，比热存储成本低得多。
    • 冷存储 (Cold Storage)： 基于 S3 的最低成本存储层，适用于几乎不访问但需要保留的归档数据。数据需要手动从冷存储“恢复”到 UltraWarm 才能查询，这个过程通常只需几分钟。
      分层存储使得用户可以根据数据的访问模式和重要性来优化存储成本。
  9. 性能增强特性： 包括节点之间的分片感知路由、缓存机制等，有助于提升查询性能。

四、常见使用场景

AWS OpenSearch Service 适用于多种需要快速检索、实时分析和大规模数据可视化的场景：

  1. 日志分析与监控 (Log Analytics & Monitoring):

    • 场景： 收集来自服务器、应用程序、网络设备等的日志，进行实时分析，发现异常、诊断问题。
    • 如何使用： 利用 Kinesis Data Firehose、Logstash、Fluentd、Filebeat 等工具将日志数据导入 OpenSearch。在 OpenSearch Dashboards 中创建索引模式、构建可视化图表和仪表盘，监控系统健康状况、用户行为、安全事件等。
    • 优势： 快速索引和查询海量日志，强大的聚合功能便于汇总统计，实时可视化帮助快速洞察。

  2. 应用程序搜索 (Application Search):

    • 场景： 为应用程序的用户提供快速、相关的搜索功能，例如电商网站的产品搜索、文档管理系统的文档搜索、社交媒体的内容搜索等。
    • 如何使用： 将应用程序中的数据（产品信息、文章、用户数据等）索引到 OpenSearch 中。应用程序后端通过 OpenSearch API 执行搜索查询，并将结果返回给用户。
    • 优势： 提供高度可定制的相关性评分、分面搜索（faceted search）、搜索建议等高级搜索功能，极大地提升用户体验。

  3. 网站搜索 (Website Search):

    • 场景： 为公共网站提供站内搜索功能，帮助访客快速找到所需信息。
    • 如何使用： 抓取网站内容，将页面文本和元数据索引到 OpenSearch 中。网站前端调用后端服务，后端服务执行 OpenSearch 查询。
    • 优势： 能够处理大量网页内容，提供快速、准确的搜索结果，支持各种语言和自定义分词。

  4. 安全分析 (Security Analytics/SIEM):

    • 场景： 收集安全相关的日志和事件（如 VPC Flow Logs, CloudTrail Logs, WAF Logs, 终端日志等），进行实时分析以检测威胁、调查安全事件。
    • 如何使用： 将各种安全日志导入 OpenSearch。利用 OpenSearch Dashboards 构建安全监控仪表盘，设置告警规则（OpenSearch 告警插件），快速识别恶意活动、未授权访问等。
    • 优势： 快速索引和搜索海量安全事件，强大的聚合功能便于关联分析，实时性有助于快速响应安全威胁。FGAC 特性也特别适用于需要隔离不同团队或租户数据进行安全分析的场景。

  5. 业务指标分析 (Business Metrics Analysis):

    • 场景： 收集业务运营相关的指标（如销售数据、用户活跃度、订单状态等），进行实时监控和分析。
    • 如何使用： 将业务数据以文档形式导入 OpenSearch。在 OpenSearch Dashboards 中构建可视化报表和仪表盘，监控关键业务指标，支持管理层做出决策。
    • 优势： 灵活的数据模型和强大的聚合能力使得能够轻松地对业务数据进行多维度分析。

  6. 物联网 (IoT) 数据分析：

    • 场景： 收集来自大量 IoT 设备的时间序列数据（传感器读数、设备状态等），进行存储、分析和可视化。
    • 如何使用： 利用 AWS IoT Core、Kinesis 等服务将设备数据传输到 OpenSearch。利用 OpenSearch Dashboards 监控设备状态、分析趋势、检测异常读数。
    • 优势： 高吞吐量的数据摄入能力，优化的时间序列数据处理能力，便于实时监控和历史数据分析。

五、核心概念与工作原理概述

理解 AWS OpenSearch Service 的工作原理需要掌握 OpenSearch/Elasticsearch 的一些核心概念：

  1. 文档 (Document): OpenSearch 中的最小数据单元。它是一个 JSON 对象，包含键值对。类比关系数据库中的一行记录。
  2. 索引 (Index): 文档的集合。类似于关系数据库中的一个表。每个索引都有自己的映射 (Mapping)，定义了文档中字段的数据类型和如何被索引。
  3. 分片 (Shard): 一个索引被水平分割成多个分片。每个分片都是一个独立的、完整的搜索引擎实例，可以托管在集群中的任何节点上。分片是 OpenSearch 实现可伸缩性的关键。将大索引分成小分片，可以将数据分散到多个节点上。
  4. 副本 (Replica): 每个主分片可以有一个或多个副本。副本是主分片的完整拷贝。副本的作用是提高数据的可用性和可靠性（如果主分片所在的节点故障，副本可以晋升为新的主分片），以及提高查询性能（查询请求可以由主分片或其任意副本处理）。
  5. 节点 (Node): 运行 OpenSearch 实例的服务器。在 AWS OpenSearch Service 中，节点对应于 EC2 实例。节点有不同的角色：
    • 数据节点 (Data Node): 存储索引数据的分片，处理数据索引和查询请求。
    • 专用主节点 (Dedicated Master Node): 负责管理集群状态、索引的创建/删除、分片的分配等集群级别的任务。使用专用主节点可以减轻数据节点的负担，提高集群的稳定性，尤其对于大型集群。
    • 超暖节点 (UltraWarm Node): 用于存储 UltraWarm 层数据。
  6. 集群 (Cluster): 由一个或多个节点组成，共同存储您的整个数据并处理搜索和分析请求。AWS OpenSearch Service 管理的就是一个 OpenSearch 集群，在服务中被称为一个 域 (Domain)。
  7. 映射 (Mapping): 定义文档中的字段及其数据类型，以及这些字段如何被索引（例如，文本字段是否应该进行分词、使用哪种分词器等）。映射决定了如何存储和搜索文档。
  8. 分析器 (Analyzer): 在索引文本字段时使用。它由字符过滤器、分词器 (Tokenizer) 和词元过滤器 (Token Filter) 组成，负责将原始文本转换成可搜索的词元 (Tokens)。

数据流概述：

  1. 数据摄入 (Ingestion): 数据源（如应用程序、日志文件、数据库等）通过各种方式将数据发送到 OpenSearch 集群。常见方式包括：
    • 直接使用 OpenSearch REST API。
    • 使用 Logstash、Fluentd、Filebeat 等日志采集代理。
    • 使用 AWS 服务如 Kinesis Data Firehose (将数据缓冲并批量发送)、AWS Lambda (处理事件触发的数据)、AWS Glue (进行 ETL 处理后加载)。
  2. 索引 (Indexing): OpenSearch 接收到数据后，根据索引的映射和设置（包括分析器），对文档进行处理，并将其写入到相应的分片中。数据会根据副本设置同步到副本分片。
  3. 搜索/查询 (Search/Query): 用户或应用程序通过 OpenSearch API 发送搜索或聚合请求。协调节点（通常是接收请求的任何数据节点，或专用主节点）将请求转发到相关的分片（主分片或副本分片）。每个分片独立执行搜索，并将结果返回给协调节点。协调节点合并来自所有分片的结果，进行排序、聚合等处理，最终返回给客户端。
  4. 可视化 (Visualization): 通过 OpenSearch Dashboards 连接到 OpenSearch 集群，可以使用 Kibana Query Language (KQL) 或 OpenSearch 的 Query DSL 进行数据探索，构建图表、仪表盘来可视化数据。

六、如何开始使用 AWS OpenSearch Service

开始使用 AWS OpenSearch Service 非常直接：

  1. 登录 AWS 管理控制台： 打开 AWS 控制台，搜索并进入 OpenSearch Service 页面。
  2. 创建新域 (Create New Domain):
    • 选择部署类型（Standard Create 是常见选项）。
    • 输入域名称（唯一标识您的集群）。
    • 选择 OpenSearch 或 Elasticsearch 引擎版本。推荐使用最新的 OpenSearch 版本以获取最新功能和安全更新。
    • 选择部署选项：生产环境通常选择高可用性，部署在 2 个或 3 个可用区。
    • 配置集群：
      • 节点配置： 选择数据节点实例类型（根据工作负载选择计算、内存或通用优化型）、节点数量。考虑是否需要专用主节点（推荐生产环境使用）。
      • 存储配置： 选择存储类型（基于 EBS 的通用型 SSD、预置 IOPS SSD 或吞写量优化型 HDD，或使用实例存储）。配置每个节点的存储容量。考虑是否启用 UltraWarm 和 Cold Storage。
      • 网络配置： 选择在 VPC 中部署（推荐）或公共访问。如果在 VPC 中，选择 VPC、子网和安全组。
    • 访问和安全：
      • 配置域访问策略（基于资源的策略）。
      • 配置精细粒度访问控制 (FGAC) – 推荐启用，可以使用 IAM 用户/角色或内部用户数据库进行身份验证和授权。
      • 配置加密（静态加密和传输中加密）。
    • 快照配置： 默认启用自动每日快照。可以配置快照时段。
    • 标签： 添加标签以便于管理和成本分配。
  3. 等待域创建完成： AWS 会自动预置资源、安装软件并配置集群。这通常需要 10-30 分钟。
  4. 访问 OpenSearch Dashboards 或 OpenSearch API：
    • 创建完成后，您将获得 OpenSearch Dashboards 的端点和 OpenSearch API 的端点。
    • 如果部署在 VPC 中，确保您从 VPC 内部（例如通过 EC2 实例、VPN 连接或 Direct Connect）访问这些端点。
    • 使用配置的身份验证方法（如 IAM 凭证或内部用户凭证）访问 OpenSearch Dashboards 进行数据管理和可视化，或使用 API 进行数据索引和查询。
  5. 数据摄入： 配置您的数据源，将数据发送到 OpenSearch 集群的摄入端点。
  6. 数据探索与分析： 在 OpenSearch Dashboards 中创建索引模式、上传数据、构建可视化、创建仪表盘。

七、成本考量

使用 AWS OpenSearch Service 的成本主要取决于以下几个因素：

  • 实例类型和数量： 不同实例类型每小时费用不同，节点数量越多费用越高。
  • 存储类型和容量： EBS 卷的类型和容量，以及 UltraWarm 和 Cold Storage 的使用量都会产生费用。
  • 数据传输： 数据进出 OpenSearch Service 的传输费用。
  • 快照存储： 存储在 S3 中的自动和手动快照会产生存储费用。
  • 数据摄入和处理： 使用其他 AWS 服务（如 Kinesis, Lambda）进行数据预处理和摄入的费用。

AWS OpenSearch Service 提供了多种实例类型和存储选项，允许您根据数据的访问模式和性能需求来优化成本。分层存储（UltraWarm 和 Cold Storage）对于处理大量历史数据并降低成本尤其有效。通过 CloudWatch 监控集群指标（如 CPU 利用率、JVM 内存压力、索引吞吐量等），可以帮助您判断集群是否配置合理，避免过度或不足配置。

八、总结

AWS OpenSearch Service 是一项功能强大、高度可扩展且完全托管式的搜索和分析服务。它基于流行的 OpenSearch 开源项目，集成了 OpenSearch Dashboards，为用户提供了端到端的数据摄入、存储、搜索、分析和可视化解决方案。

通过将复杂的集群管理任务交给 AWS，用户可以极大地降低运维负担，专注于从数据中获取价值。其丰富的安全特性、与 AWS 生态系统的深度集成以及灵活的扩展和存储选项，使其成为构建日志分析平台、企业搜索、安全监控系统等各种应用场景的理想选择。

无论您是刚刚开始接触搜索和分析技术，还是需要从自建 OpenSearch/Elasticsearch 集群迁移，AWS OpenSearch Service 都提供了一个稳定、可靠且易于使用的平台，帮助您解锁海量数据的潜力。随着 OpenSearch 开源项目的持续发展，AWS OpenSearch Service 也将不断演进，为用户带来更多创新的功能和更优越的体验。

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部