走进向量数据库：大模型时代的智能体“长期记忆”与检索技术

随着大型语言模型（LLM）和生成式 AI 技术的爆发式增长，一个过去相对冷门的数据库品类——向量数据库（Vector Database）迅速走红，成为 AI 技术栈中不可或缺的基石。

为什么大模型需要向量数据库？它又是如何为智能体提供“长期记忆”的？本文将为你揭开向量数据库的神秘面纱。

什么是向量与向量嵌入？

在计算机中，非结构化数据（如一篇文章、一张图片、一段音频）是很难直接进行语义比较的。为了让计算机能够“理解”这些数据的含义，科学家们使用向量嵌入（Vector Embeddings）技术。

通过深度学习模型（如 OpenAI 的 text-embedding-3-small 或开源的 BGE 模型），我们可以将任意一段文本转换为一串由高维实数组成的数组（例如，一个 1536 维的向量）。 * 这种向量代表了数据在多维“语义空间”中的坐标。 * 语义相近的内容，在这个空间中的物理距离就会非常接近。例如，“猫”和“小猫咪”的向量距离，会远远小于“猫”和“挖掘机”之间的向量距离。

为什么需要专门的向量数据库？

传统的数据库（如 MySQL 或 PostgreSQL）是基于数值、字符串等关系型字段进行精确匹配或范围查询的。然而，面对上百万个 1536 维的浮点数向量，传统数据库在进行“相似度检索”时会遇到致命的性能瓶颈。

向量数据库正是为了解决这一痛点而诞生。它专门用于存储高维向量数据，并提供毫秒级的相似度检索服务。

向量数据库的核心技术：

1. 相似度算法：使用余弦相似度（Cosine Similarity）、点积（Dot Product）或欧氏距离（Euclidean Distance）来衡量向量之间的接近程度。
2. 高维索引（ANN）：为了避免暴力搜索带来的超高计算量，向量数据库采用了“近似最近邻”（Approximate Nearest Neighbor, ANN）索引算法，如 HNSW（分层导航小世界）、IVF（倒排文件）等。这些索引可以将查询时间从 $O(N)$ 降到接近 $O(\log N)$。

向量数据库的典型应用场景

1. 检索增强生成（RAG, Retrieval-Augmented Generation）

大模型的知识库受限于其训练截止时间，且存在“幻觉”问题。通过向量数据库，我们可以实现知识的外挂： * 将企业知识库、文档或产品手册切片并生成向量，存入向量数据库。 * 用户提问时，先通过向量检索找出与问题最相关的 Top-K 个文档片段。 * 将这些相关片段作为背景上下文连同问题一起提交给大模型，让大模型基于可靠的信息回答问题。

2. 智能体的长期记忆（Long-term Memory）

在多轮对话中，大模型的上下文窗口（Context Window）是有限的，且Token消耗巨大。通过将历史聊天记录向量化并存入向量数据库，智能体可以在后续对话中，动态检索与当前话题最相关的历史记忆，从而实现拟人化的“长期记忆”功能。

3. 图像与多模态检索

利用 CLIP 等多模态模型，将图片与文本映射到同一向量空间。向量数据库可以轻松实现“以图搜图”或“以文搜图”。

主流的向量数据库有哪些？

当前市面上的向量数据库可以分为两大阵营： 1. 原生向量数据库：从零开始针对向量设计的系统，如 Qdrant（Rust 编写，极速轻量）、Milvus（适合海量企业级数据）、Pinecone（托管式 SaaS 服务）。 2. 传统数据库的向量扩展：在传统数据库中以插件形式支持向量，如 PostgreSQL 的 pgvector 插件，以及 Redis 的向量搜索功能。

选择合适的向量数据库取决于数据规模、运维复杂度和具体的业务场景。对于本地开发和中小型项目，像 Qdrant 这样轻量好用且自带可视化面板的数据库往往是开发者的首选。