【架构实战】ElasticSearch搜索集群：全文检索的艺术

【架构实战】ElasticSearch搜索集群：å

¨æ–‡æ£€ç´¢çš„艺术

倒排索引、分片副本、搜索优化、实战案例

一、从一个真实的æ•

事说起

2024年双十一，某电商平台搜索系统在流量洪峰到来的那一刻，突然"哑火"了。

用户在搜索框输å
¥"iPhone 15 Pro Max"，等了整整8秒，页面才刷出结果。而更诡异的是，有些用户搜索"手机壳"，å±
然搜出了"手机支架"——相å
³æ€§å®Œå
¨é”™ä¹±ã€‚运维团队紧急排查，发现是ElasticSearché›†ç¾¤çš„æŸä¸ªåˆ†ç‰‡å› ä¸ºç£ç›˜IO瓶颈导致查询è¶
æ—¶ï¼Œè€Œå‰¯æœ¬åˆ†ç‰‡å› ä¸ºè´Ÿè½½å‡è¡¡ç­–ç•¥é—®é¢˜ï¼Œå
¨éƒ¨æ‰“在了同一台机器上。

"我们不是é
ç½®äº†å‰¯æœ¬å—ï¼Ÿä¸ºä»€ä¹ˆè¿˜ä¼šè¿™æ ·ï¼Ÿ"开发同学一脸懵。

"副本是é
ç½®äº†ï¼Œä½†ä½ 们把5个副本分片å
¨éƒ¨åˆ†é
åˆ°äº†åŒä¸€å°é«˜é
æœºå™¨ä¸Šï¼Œä»¥ä¸ºè¿™æ ·èƒ½æé«˜æ€§èƒ½ã€‚结果那台机器的磁盘IO被打满，查询å
¨éƒ¨è¶
时。"è¿ç»´åŒå­¦æ— å¥ˆåœ°è§£é‡Šã€‚

这个æ•
事告诉我们：ElasticSearchä¸æ˜¯å¼€ç®±å³ç”¨çš„æœç´¢å¼•æ“Žï¼Œç†è§£å ¶åº•å±‚åŽŸç†å¹¶æ­£ç¡®é ç½®ï¼Œæ‰èƒ½çœŸæ­£å‘æŒ¥å®ƒçš„å¨åŠ›ã€‚

äºŒã€æ ¸å¿ƒæ¦‚å¿µï¼šå€’æŽ’ç´¢å¼•â€”â€”æœç´¢çš„åŸºçŸ³

2.1 什么是倒排索引？

ä¼ ç»Ÿçš„å
³ç³»åž‹æ•°æ®åº“使用**正向索引**：文档ID → 文档å†
容。比如：

1文档ID: 1 → å†
2容: "iPhone 15 Pro Max 256GB 深空黑"
3文档ID: 2 → å†
4容: "iPhone 15 Pro 手机壳 透明"
5文档ID: 3 → å†
6容: "iPhone 14 Pro Max 手机壳 黑色"
7

如果要搜索"iPhone"，数据库需要扫描所有文档，逐个匹é
â€”â€”è¿™å°±æ˜¯å ¨è¡¨æ‰«æï¼Œæ•ˆçŽ‡æžä½Žã€‚

而ElasticSearch使用**倒排索引**：词条 → 文档ID列表。

1词条          文档ID列表
2─────────────────────────
3iPhone       → [1, 2, 3]
415           → [1, 2]
5Pro          → [1, 2, 3]
6Max          → [1, 3]
7手机壳       → [2, 3]
8256GB        → [1]
9深空黑       → [1]
10透明         → [2]
11黑色         → [3]
12

现在搜索"iPhone"，只需要在倒排索引中找到"iPhone"这个词条，直接得到文档ID列表[1, 2, 3]ï¼Œæ— éœ€æ‰«æä»»ä½•æ–‡æ¡£ã€‚è¿™å°±æ˜¯**O(1)级别**的查询效率。

2.2 倒排索引的结构

å€’æŽ’ç´¢å¼•ç”±ä¸‰ä¸ªæ ¸å¿ƒç»“æž„ç»„æˆï¼š

1. Term Dictionary（词条字å
   **¸ï¼‰**：所有不重复的词条，按字å
   ¸åºæŽ’序。ElasticSearch使用FST（Finite State Transducer）压缩存储，å†
   å­˜å ç”¨æžå°ã€‚
2. **Term Index（词条索引）**：Term Dictionary的索引，用于快速定位词条在磁盘上的位置。通常每128个词条建立一个索引项。
3. **Posting List（倒排表）**：每个词条对应的文档ID列表。ElasticSearch使用Frame of Referenceç¼–ç å’ŒRoaring Bitmaps压缩，大å¹
   减少存储空间。

1Term Index (å†
2存) → Term Dictionary (磁盘) → Posting List (磁盘)
3     ↓                    ↓                      ↓
4   快速定位            词条详æƒ
5              文档ID列表
6

2.3 实战：查看倒排索引

我们可以通过ElasticSearchçš„_termvectorsAPI查看某个文档的倒排索引信息：

1GET /products/_termvectors/1?fields=name&term_statistics=true
2
3{
4  "term_vectors": {
5    "name": {
6      "terms": {
7        "iphone": {
8          "term_freq": 1,
9          "doc_freq": 3,
10          "ttf": 3
11        },
12        "15": {
13          "term_freq": 1,
14          "doc_freq": 2,
15          "ttf": 2
16        }
17      }
18    }
19  }
20}
21

å
¶ä¸­ï¼š

• term_freq：该词条在当前文档中出现的次数
• doc_freq：åŒ
  含该词条的文档数量（文档频率）
• ttf：该词条在所有文档中出现的总次数

三、分片与副本：分布式的艺术

3.1 分片（Shard）：数据的水平切分

ElasticSearch将一个索引的数据分散到多个分片中，每个分片是一个独立的Lucene索引。

为什么需要分片？

1. **水平扩展**：单台机器存不下海量数据，分片让数据分散到多台机器
2. **并行查询**：查询可以并行执行在多个分片上，提高性能

分片数量如何确定？

官方建议：**每个分片大小在10GB-50GB之间**，分片数量 = 数据总量 / 30GB。

1// 创建索引时指定分片数
2PUT /products
3{
4  "settings": {
5    "number_of_shards": 5,
6    "number_of_replicas": 1
7  }
8}
9

3.2 副本（Replica）：高可用的保障

副本是分片的拷贝，用于：

1. 容灾：主分片æ•
   障时，副本自动升级为主分片
2. **负载均衡**：查询请求可以分发到副本上，提高查询吞吐量

副本数量如何确定？

• 开发环境：0个副本（节省资源）
• 生产环境：至少1个副本
• 高可用场景：2个副本（å
  è®¸ä»»æ„2台机器同时æ•
  障）

3.3 分片分é

ç­–ç•¥

ElasticSearch通过分片分é **å™¨ï¼ˆShard Allocator）**å†³å®šåˆ†ç‰‡æ”¾åœ¨å“ªäº›èŠ‚ç‚¹ä¸Šã€‚æ ¸å¿ƒåŽŸåˆ™ï¼š

1. **均衡原则**：尽量让每个节点的分片数量相近
2. **感知原则**：避å
   ä¸»åˆ†ç‰‡å’Œå‰¯æœ¬åˆ†ç‰‡åˆ†é
   åˆ°åŒä¸€å°æœºå™¨
3. **属性感知**ï¼šå¯ä»¥æ ¹æ®æœºæž¶ã€å¯ç”¨åŒºç­‰å±žæ€§åˆ†é
   ï¼Œé¿å
   å•ç‚¹æ•
   障

1# elasticsearch.yml é
2ç½®æœºæž¶æ„ŸçŸ¥
3cluster.routing.allocation.awareness.attributes: rack_id
4
5node.attr.rack_id: rack1  # 节点1
6node.attr.rack_id: rack2  # 节点2
7

è¿™æ ·é
ç½®åŽï¼ŒElasticSearch会尽量将主分片和副本分片分é
åˆ°ä¸åŒçš„机架上。

3.4 实战案例：分片分é

å¤±è´¥æŽ’查

**问题现象**：集群状态为Yellow，提示"分片分é
å¤±è´¥"。

**排查步骤**：

1// 1. 查看集群健康状态
2GET /_cluster/health
3
4{
5  "status": "yellow",
6  "unassigned_shards": 2
7}
8
9// 2. 查看分片分é
10è§£é‡Š
11GET /_cluster/allocation/explain
12
13{
14  "index": "products",
15  "shard": 1,
16  "primary": false,
17  "current_state": "unassigned",
18  "unassigned_info": {
19    "reason": "NODE_LEFT",
20    "at": "2024-11-11T10:00:00.000Z"
21  },
22  "can_allocate": "no",
23  "allocate_explanation": "cannot allocate because the node left the cluster"
24}
25

解决方案：

如果是节点临时æ•
障，等å¾
节点恢复即可。如果节点永ä¹
下线，需要调整分片分é
ç­–略：

1// 重新分é
2å‰¯æœ¬
3POST /_cluster/reroute?retry_failed=true
4

四、搜索优化：从å

¥é—¨åˆ°ç²¾é€š

4.1 查询DSL：构建复杂查询

ElasticSearch提供了强大的Query DSL（Domain Specific Language）：

1// bool组合查询
2GET /products/_search
3{
4  "query": {
5    "bool": {
6      "must": [
7        { "match": { "name": "iPhone" }}
8      ],
9      "should": [
10        { "match": { "brand": "Apple" }},
11        { "range": { "price": { "lte": 10000 }}}
12      ],
13      "must_not": [
14        { "match": { "status": "下架" }}
15      ],
16      "filter": [
17        { "term": { "category": "手机" }}
18      ]
19    }
20  }
21}
22

å
¶ä¸­ï¼š

• must：å¿
  须匹é
  ï¼Œå‚与评分
• should：选择性匹é
  ï¼Œå‚与评分
• must_not：å¿
  须不匹é
  ï¼Œä¸å‚与评分
• filter：å¿
  须匹é
  ï¼Œä¸å‚与评分（性能更高）

4.2 相å

³æ€§è¯„分：BM25算法

ElasticSearch默认使用BM25算法计算文档相å
³æ€§è¯„分：

1score(D, Q) = Σ IDF(qi) * (f(qi, D) * (k1 + 1)) / (f(qi, D) + k1 * (1 - b + b * |D| / avgdl))
2

å
¶ä¸­ï¼š

• f(qi, D)：词条qi在文档D中的出现频率
• |D|：文档D的长度
• avgdl：所有文档的平均长度
• k1、b：调节参数，默认k1=1.2，b=0.75

实战：调整BM25参数

1PUT /products
2{
3  "settings": {
4    "index": {
5      "similarity": {
6        "custom_bm25": {
7          "type": "BM25",
8          "k1": 1.5,
9          "b": 0.8
10        }
11      }
12    }
13  },
14  "mappings": {
15    "properties": {
16      "name": {
17        "type": "text",
18        "similarity": "custom_bm25"
19      }
20    }
21  }
22}
23

4.3 高亮显示：让结果更直观

1GET /products/_search
2{
3  "query": {
4    "match": { "name": "iPhone" }
5  },
6  "highlight": {
7    "fields": {
8      "name": {
9        "pre_tags": ["<em>"],
10        "post_tags": ["</em>"],
11        "fragment_size": 150,
12        "number_of_fragments": 3
13      }
14    }
15  }
16}
17
18// 返回结果
19{
20  "hits": {
21    "hits": [
22      {
23        "_source": {
24          "name": "iPhone 15 Pro Max 256GB 深空黑"
25        },
26        "highlight": {
27          "name": ["<em>iPhone</em> 15 Pro Max 256GB 深空黑"]
28        }
29      }
30    ]
31  }
32}
33

4.4 聚合分析：不只是搜索

ElasticSearch的聚合功能可以实现复杂的数据分析：

1// æŒ‰å“ç‰Œåˆ†ç»„ï¼Œè®¡ç®—å¹³å‡ä»·æ ¼å’Œé”€é‡
2GET /products/_search
3{
4  "size": 0,
5  "aggs": {
6    "brands": {
7      "terms": { "field": "brand.keyword", "size": 10 },
8      "aggs": {
9        "avg_price": { "avg": { "field": "price" }},
10        "total_sales": { "sum": { "field": "sales" }}
11      }
12    }
13  }
14}
15

五、实战案例：电商搜索系统架构

5.1 系统架构设计

1用户请求
2    ↓
3API网å
4³ï¼ˆé™æµã€é‰´æƒï¼‰
5    ↓
6搜索服务（查询重写、结果排序）
7    ↓
8ElasticSearch集群（3主3从）
9    ↓
10数据同步服务（MySQL → ES）
11

5.2 数据同步方案

方案一：双写模式

应用层同时写å
¥MySQLå’ŒElasticSearch：

1@Transactional
2public void saveProduct(Product product) {
3    // 1. 写å
4¥MySQL
5    productMapper.insert(product);
6    
7    // 2. 写å
8¥ElasticSearch
9    try {
10        elasticsearchTemplate.save(product);
11    } catch (Exception e) {
12        // 写å
13¥å¤±è´¥ï¼Œè®°å½•æ—¥å¿—，异步补偿
14        log.error("ES写å
15¥å¤±è´¥", e);
16        mqService.send("es_sync_topic", product);
17    }
18}
19

优点：实现简单，实时性高
ç¼ºç‚¹ï¼šä»£ç ä¾µå
¥æ€§å¼ºï¼Œä¸€è‡´æ€§éš¾ä»¥ä¿è¯

方案二：CDC（Change Data Capture）

通过监听MySQL的binlog，实时同步到ElasticSearch：

1# Canalé
2ç½®
3canal.instance.master.address: 127.0.0.1:3306
4canal.instance.filter.regex: shop\\.products
5
6# 同步到ES
7canal.adapters:
8  - name: es
9    hosts: 127.0.0.1:9200
10    index: products
11    mapping:
12      id: _id
13      name: name
14      price: price
15

ä¼˜ç‚¹ï¼šä»£ç æ— ä¾µå
¥ï¼Œä¸€è‡´æ€§æœ‰ä¿éšœ
缺点：需要额外部署Canal，运维成本高

5.3 搜索性能优化

优化一：使用filter代替query

1// æ
2¢ï¼šä½¿ç”¨query
3GET /products/_search
4{
5  "query": {
6    "bool": {
7      "must": [
8        { "term": { "category": "手机" }},
9        { "term": { "brand": "Apple" }}
10      ]
11    }
12  }
13}
14
15// 快：使用filter
16GET /products/_search
17{
18  "query": {
19    "bool": {
20      "filter": [
21        { "term": { "category": "手机" }},
22        { "term": { "brand": "Apple" }}
23      ]
24    }
25  }
26}
27

filter不计算评分，且会被缓存，性能更高。

优化二：预热缓存

在业务低峰期预热查询缓存：

1@Scheduled(cron = "0 0 3 * * ?")
2public void warmUpCache() {
3    List<String> hotKeywords = getHotKeywords();
4    for (String keyword : hotKeywords) {
5        elasticsearchTemplate.query(keyword);
6    }
7}
8

优化三：异步查询

å¯¹äºŽéžæ ¸å¿ƒæŸ¥è¯¢ï¼ˆå¦‚æŽ¨èã€å¹¿å‘Šï¼‰ï¼Œä½¿ç”¨å¼‚æ­¥æŸ¥è¯¢ï¼š

1CompletableFuture<List<Product>> recommendFuture = CompletableFuture.supplyAsync(() -> {
2    return recommendService.query(userId);
3});
4
5CompletableFuture<List<Ad>> adFuture = CompletableFuture.supplyAsync(() -> {
6    return adService.query(userId);
7});
8
9// ç­‰å¾
10所有查询完成
11CompletableFuture.allOf(recommendFuture, adFuture).join();
12

å

­ã€è¸©å‘实录

踩坑一：深度分页性能问题

**问题**：查询第10000页，每页10条，耗时10秒。

1GET /products/_search
2{
3  "from": 100000,
4  "size": 10,
5  "query": { "match_all": {} }
6}
7

**åŽŸå› **：ElasticSearch需要查询所有分片的from+size条数据，在协调节点排序后取[from, from+size]。from越大，排序的数据越多，性能越差。

解决方案：使用search_after代替from/size：

1// 第一次查询
2GET /products/_search
3{
4  "size": 10,
5  "sort": [
6    { "_id": "asc" }
7  ]
8}
9
10// 后续查询
11GET /products/_search
12{
13  "size": 10,
14  "sort": [
15    { "_id": "asc" }
16  ],
17  "search_after": ["AVd3d3d3d3d3d3d3"]
18}
19

è¸©å‘äºŒï¼šå­—æ®µç±»åž‹é”™è¯¯å¯¼è‡´æ— æ³•èšåˆ

**问题**：对price字段聚合时报错。

1GET /products/_search
2{
3  "aggs": {
4    "price_stats": { "stats": { "field": "price" }}
5  }
6}
7
8// 报错
9{
10  "error": {
11    "type": "illegal_argument_exception",
12    "reason": "Field [price] of type [text] is not supported for aggregation"
13  }
14}
15

**åŽŸå› **：priceå­—æ®µè¢«æ˜ å°„ä¸ºtext类型，text类型不支持聚合。

解决方案：使用keywordç±»åž‹æˆ–æ·»åŠ å­å­—æ®µï¼š

1PUT /products/_mapping
2{
3  "properties": {
4    "price": {
5      "type": "text",
6      "fields": {
7        "keyword": { "type": "keyword" },
8        "double": { "type": "double" }
9      }
10    }
11  }
12}
13
14// 使用子字段聚合
15GET /products/_search
16{
17  "aggs": {
18    "price_stats": { "stats": { "field": "price.double" }}
19  }
20}
21

踩坑三：集群脑裂问题

**问题**：集群出现两个Master节点，数据不一致。

**åŽŸå› **ï¼šç½‘ç»œåˆ†åŒºå¯¼è‡´éƒ¨åˆ†èŠ‚ç‚¹æ— æ³•é€šä¿¡ï¼Œå„è‡ªé€‰ä¸¾å‡ºMaster。

解决方案：

1# elasticsearch.yml
2# 设置最小主节点数 = 节点数/2 + 1
3discovery.zen.minimum_master_nodes: 2
4
5# 或è€
6使用7.x+版本的自动é
7ç½®
8cluster.initial_master_nodes: ["node1", "node2", "node3"]
9

踩坑四：JVMå †å†

存设置不当

**问题**：频繁Full GC，查询è¶
时。

**åŽŸå› **ï¼šå †å†
存设置过大，è¶
过物理å†
存的50%，导致大量å†
存用于Page Cache，反而降低性能。

解决方案：

1# jvm.options
2-Xms16g
3-Xmx16g
4
5# å †å†
6存不è¶
7过物理å†
8存的50%，且不è¶
9过32GB
10# Lucene利用操作系统的Page CacheåŠ é€ŸæŸ¥è¯¢ï¼Œå †å†
11存过大反而影响性能
12

七、总结

ElasticSearch作为分布式搜索引擎，å
¶æ ¸å¿ƒä¼˜åŠ¿åœ¨äºŽï¼š

1. **倒排索引**：O(1)级别的查询效率
2. **分片副本**：水平扩展和高可用保障
3. 丰富的查询DSL：支持复杂查询和聚合分析
4. **分布式架构**：自动分片分é
   å’Œæ•
   障恢复

但同时，ElasticSearch也有å
¶å¤æ‚性：

1. **分片规划**：分片数量和大小需要合理规划
2. **数据一致性**：与MySQLç­‰å
   ³ç³»åž‹æ•°æ®åº“的同步方案需要谨æ
   Žé€‰æ‹©
3. **性能优化**：深度分页、字段类型、JVMé
   ç½®ç­‰éƒ½éœ€è¦æ·±å
   ¥ç†è§£
4. **运维复杂度**：集群监控、æ•
   障排查、容量规划都需要专业能力

å

«ã€æ€è€ƒé¢˜

1. å¦‚æžœä½ çš„ä¸šåŠ¡éœ€è¦æ”¯æŒ"搜索推荐"（用户输å
   ¥æ—¶å®žæ—¶æŽ¨èæœç´¢è¯ï¼‰ï¼Œä½ 会如何设计？需要考虑哪些技术点？
2. ElasticSearchå’ŒMySQL各有优劣，什么场景下应该选择ElasticSearch作为主存储？什么场景下应该保持MySQL为主存储，ElasticSearchä»
   ä½œä¸ºæœç´¢åŠ é€Ÿï¼Ÿ
3. 在微服务架构下，如何保证ElasticSearchæ•°æ®ä¸Žå„ä¸ªå¾®æœåŠ¡æ•°æ®çš„ä¸€è‡´æ€§ï¼Ÿä½ ä¼šé€‰æ‹©å“ªç§åŒæ­¥æ–¹æ¡ˆï¼Ÿ

九、个人观点

在我参与过的多个项目中，ElasticSearch最常见的误区是：**把它当作数据库来用**。

很多团队直接把业务数据存到ElasticSearch，不再使用MySQL。这在初期确实简单高效，但随着业务发展，问题逐渐暴露：

1. **事务支持弱**：ElasticSearch没有完整的事务机制，复杂业务逻辑难以实现
2. **更新性能差**：频繁更新会导致大量segment文件，查询性能下降
3. 数据一致性难保证：分布式环境下的数据一致性是个大问题

我的建议是：ElasticSearch作为搜索引擎，MySQLä½œä¸ºæ•°æ®å­˜å‚¨ï¼Œä¸¤è€ å„å¸å ¶èŒã€‚é€šè¿‡CDC或双写模式保持数据同步，既享受ElasticSearch的搜索能力，又保留MySQL的事务特性。

另一个常见误区是：**忽视集群运维**。很多团队搭建完集群就不管了，直到出问题才临时抱佛脚。建议从项目初期就建立完善的监控体系（使用ElasticSearch Head、Kibana、Prometheus等），定期进行容量规划和æ•
障演练。

最后，ElasticSearchçš„å­¦ä¹ æ›²çº¿ç¡®å®žé™¡å³­ï¼Œä½†ä¸€æ—¦æŽŒæ¡ï¼Œä½ ä¼šå‘çŽ°å®ƒæ˜¯ä¸€ä¸ªå¼ºå¤§è€Œä¼˜é›
çš„æœç´¢å¼•æ“Žã€‚å¸Œæœ›è¿™ç¯‡æ–‡ç« èƒ½å¸®åŠ©ä½ å°‘èµ°å¼¯è·¯ï¼Œåœ¨å®žè·µä¸­çœŸæ­£å‘æŒ¥ElasticSearch的威力。

ä½œè€ ï¼šæž¶æž„å®žæˆ˜ç³»åˆ— | 字数：约4500å­—

《【架构实战】ElasticSearch搜索集群：全文检索的艺术》 是转载文章，点击查看原文。