RAG 系列（五）：Embedding 模型——语义理解的核心

为什么换个 Embedding 模型，检索效果天差地别？

前面四篇文章，我们搞定了 Pipeline 搭建、参数调优和分块策略。但有一个问题一直没细说：

你的文档被切成 Chunk 之后，是怎么变成向量的？

这个过程叫 Embedding（嵌入），它把人类可读的文本变成计算机可算的向量。Embedding 模型的选择，直接决定了：

• "苹果"和"iPhone"能不能被识别为相关
• "数据库连接池耗尽"和"Too many connections"能不能被匹配到一起
• 中文成语、专业术语、缩写能不能被正确理解

本文会讲清楚 Embedding 的原理，对比主流模型，并用手上的中文文档做一场 OpenAI vs BGE 的「 Retrieval 效果 PK」。

Embedding 到底是什么？

一句话解释

Embedding 是一个函数，输入一段文本，输出一个固定长度的数字向量（比如 1024 维）。语义相近的文本，输出的向量在空间里也相近。

为什么向量能表示语义？

想象你把世界上所有的词都放进一个多维空间：

• "国王" 和 "女王" 挨得很近
• "苹果（水果）" 和 "香蕉" 挨得很近
• "苹果（公司）" 和 "谷歌" 挨得很近
• "苹果（水果）" 和 "苹果（公司）" 离得比较远

Embedding 模型通过海量文本的预训练，学会了这种「语义距离」。当你问 "怎么重启 iPhone"，模型知道 "iPhone" 和 "苹果"（公司）相关，而和 "苹果"（水果）无关。

在 RAG 里的作用

1用户提问 → Embedding 模型 → 查询向量
2                                      ↘
3                                       向量相似度计算 → Top-K 召回
4                                      ↗
5文档 Chunk → Embedding 模型 → 文档向量（预计算）
6

Embedding 是 RAG 的语义桥梁——没有它，检索只能做关键词匹配（像 Ctrl+F），有了它，才能做语义匹配（理解同义词、近义词、上下文）。

主流 Embedding 模型横向对比

模型速览表

选模型的核心指标：MTEB 榜单

MTEB（Massive Text Embedding Benchmark） 是 Embedding 模型的「高考排行榜」。它用 50+ 个数据集测试模型在各种任务上的平均表现。

怎么看 MTEB 榜单？

1. 打开 MTEB Leaderboard
2. 关注 Retrieval Average（检索平均分）——这和 RAG 最相关
3. 看 Model Size——模型越大越慢，但通常效果越好

榜单上的关键发现：

• 英文场景：OpenAI text-embedding-3-large 常年霸榜，但 text-embedding-3-small 性价比极高
• 中文场景：BGE 系列（尤其是 bge-large-zh-v1.5）经常超过 OpenAI，且开源免费
• 多语言场景：bge-m3 和 Cohere embed-multilingual-v3.0 表现突出

💡 选模型口诀：英文选 OpenAI，中文选 BGE，多语言选 bge-m3，长文本选 Cohere。

实战：OpenAI vs BGE，中文文档检索 PK

实验设计

我们用同一批中文技术文档（就是第 4 篇的微服务架构指南），分别用 OpenAI 和 BGE 生成 Embedding，然后对同一组查询测试召回质量。

代码：一键切换 Embedding 模型

LangChain 的 OpenAIEmbeddings 类兼容所有 OpenAI-Format 的 Embedding API（包括 SiliconFlow、Zhipu、Ollama 等），所以切换模型只需要改几行配置：

1from langchain_openai import OpenAIEmbeddings
2
3# --- OpenAI 官方 ---
4openai_embed = OpenAIEmbeddings(
5    model="text-embedding-3-small",
6    api_key="sk-...",
7    base_url="https://api.openai.com/v1",
8)
9
10# --- BGE（通过 SiliconFlow） ---
11bge_embed = OpenAIEmbeddings(
12    model="BAAI/bge-large-zh-v1.5",
13    api_key="sk-...",  # SiliconFlow API Key
14    base_url="https://api.siliconflow.cn/v1",
15    chunk_size=32,     # SiliconFlow 限制 batch_size=32
16)
17
18# --- 在 RAG Pipeline 中使用 ---
19vectorstore = Chroma.from_documents(
20    documents=chunks,
21    embedding=bge_embed,  # 改这一行即可切换模型
22)
23

评测查询集

我们设计 5 个查询，覆盖不同难度：

结果对比

结论：

• 简单查询（关键词直接匹配）两者差距不大
• 困难查询（需要语义推理）BGE 中文优势明显，尤其在同义词、近义词匹配上

成本对比

如果你有 GPU，BGE 还可以本地免费部署（下节详述）。

本地部署 vs API 调用：怎么选？

API 调用的优缺点

优点：

• 零运维，一行代码搞定
• 模型版本自动更新
• 按需付费，无闲置成本

缺点：

• 数据要出域（敏感文档有合规风险）
• 有网络延迟和调用限制
• 长期高频调用成本累积

本地部署的优缺点

优点：

• 数据不出域，绝对安全
• 无调用限制，适合高频批量处理
• 长期用越用越省（一次性 GPU 投入）

缺点：

• 需要 GPU（BGE-large 需要 4GB+ 显存）
• 运维复杂（模型下载、版本管理、服务化）
• 初次加载慢（模型体积几百 MB 到几 GB）

选型决策树

1数据是否敏感？
2    ├─ 是 → 本地部署（BGE 或 GTE）
3    └─ 否 → 调用量高吗？
4              ├─ 是 → 本地部署（长期省钱）
5              └─ 否 → API 调用（省事）
6                        中文为主？ → BGE（SiliconFlow/本地）
7                        英文为主？ → OpenAI text-embedding-3-small
8

中文 Embedding 的特殊注意事项

1. 分词差异

英文 Embedding 模型通常按空格分词，但中文没有空格。如果模型没针对中文优化，可能把"南京市长江大桥"理解成"南京/市长/江大桥"而不是"南京市/长江大桥"。

BGE 的优势： 专门在中文语料上训练，分词和语义理解针对中文优化。

2. 成语和俗语

3. 领域术语

技术文档里有大量领域术语（如 "Saga 模式"、"两阶段提交"、"最终一致性"）。BGE 在中文技术社区语料上训练，对这些术语的理解通常优于通用英文模型。

代码实战：模型切换封装

为了方便在项目中灵活切换 Embedding 模型，建议做一个工厂函数：

1import os
2from langchain_openai import OpenAIEmbeddings
3
4
5def build_embeddings(provider: str = "bge"):
6    """
7    工厂函数：根据配置返回对应的 Embedding 模型
8    provider: "openai" | "bge" | "local"
9    """
10    if provider == "openai":
11        return OpenAIEmbeddings(
12            model="text-embedding-3-small",
13            api_key=os.getenv("OPENAI_API_KEY"),
14        )
15    elif provider == "bge":
16        return OpenAIEmbeddings(
17            model="BAAI/bge-large-zh-v1.5",
18            api_key=os.getenv("SILICONFLOW_API_KEY"),
19            base_url="https://api.siliconflow.cn/v1",
20            chunk_size=32,
21        )
22    elif provider == "local":
23        # 需要安装: pip install sentence-transformers
24        from langchain_community.embeddings import HuggingFaceEmbeddings
25        return HuggingFaceEmbeddings(
26            model_name="BAAI/bge-large-zh-v1.5",
27            model_kwargs={"device": "cuda"},  # 或 "cpu"
28            encode_kwargs={"normalize_embeddings": True},
29        )
30    else:
31        raise ValueError(f"Unknown provider: {provider}")
32
33
34# 使用：一行切换
35embeddings = build_embeddings("bge")  # 改这里即可切换
36

本地部署 BGE（可选）

如果你有 GPU，本地部署只需要：

1pip install sentence-transformers
2

1from langchain_community.embeddings import HuggingFaceEmbeddings
2
3embeddings = HuggingFaceEmbeddings(
4    model_name="BAAI/bge-large-zh-v1.5",
5    model_kwargs={"device": "cuda"},
6    encode_kwargs={"normalize_embeddings": True},
7)
8
9# 测试
10result = embeddings.embed_query("测试中文 Embedding")
11print(f"向量维度: {len(result)}")  # 1024
12

首次运行会自动下载模型（约 1.2GB），之后本地缓存复用。

小结与选型速查表

核心结论

1. Embedding 是 RAG 的语义桥梁——选错模型，检索准确率直接下降
2. 英文选 OpenAI，中文选 BGE——这是被 MTEB 榜单和实测双重验证的结论
3. 简单查询差距不大，复杂语义查询差距明显——BGE 在同义词、成语、术语上优势明显
4. 切换模型只需改一行代码——LangChain 的封装让模型替换零成本

Embedding 模型选型速查表

参考资料

• MTEB Leaderboard — Embedding 模型权威排行榜
• BGE 官方 GitHub — BGE 系列模型和文档
• SiliconFlow Embedding API
• Cohere Embed Documentation

《RAG 系列（五）：Embedding 模型——语义理解的核心》 是转载文章，点击查看原文。