为什么向量数据库重要
向量数据库是 RAG、语义搜索和推荐系统的核心。选择正确的方案会影响延迟、可扩展性和开发体验。
Chroma
- 类型:开源,可嵌入式或客户端-服务器。
- 适合:原型开发、中小型项目。
- 优点:API 简洁,Python 原生,支持内存运行。
- 缺点:规模化后的生产特性有限。
Qdrant
- 类型:开源,Rust 编写。
- 适合:高性能生产工作负载。
- 优点:速度快,支持过滤和多租户。
- 缺点:社区规模小于 Pinecone。
Weaviate
- 类型:开源,提供云选项。
- 适合:需要混合搜索能力的语义搜索。
- 优点:内置向量化模块,GraphQL API。
- 缺点:资源占用较重。
Pinecone
- 类型:托管云服务。
- 适合:不想运维的团队。
- 优点:全托管,无服务器,自动扩缩。
- 缺点:厂商锁定,不支持自托管。
pgvector
- 类型:PostgreSQL 扩展。
- 适合:已使用 PostgreSQL 的团队。
- 优点:无需新基础设施,融入 SQL 生态。
- 缺点:超大规模下速度较慢。
选择建议
原型阶段的取舍取决于团队规模、工作流、部署方式和预算模型——下面的框架给出判断顺序。
| 能力 | Chroma | Qdrant | Weaviate | Pinecone | pgvector |
|---|---|---|---|---|---|
| 自托管 | ✓ | ✓ | ✓ | ✗ | ✓ |
| 托管云 | ✗ | ✓ | ✓ | ✓ | ✓ |
| 嵌入式 / 无需独立服务 | ✓ | ✗ | ✗ | ✗ | ✓ |
| 原生 SQL 接口 | ✗ | ✗ | ✗ | ✗ | ✓ |
仅比较能力;具体功能与限制请以各厂商最新官方说明为准。
选择框架
应从四个维度选择,而不是对着功能清单打勾。
团队规模与运维能力。 一到三名工程师的团队应把数据库当作托管依赖。自运行一个有状态服务意味着升级、备份、分片重平衡和值班。如果没人负责这些工作,托管服务或复用现有 PostgreSQL 实例中的 pgvector 是风险更低的选择。规模更大的平台团队在需要控制硬件、网络位置或数据驻留时,才有理由自托管。
工作流与查询形态。 如果产品需要把元数据过滤和向量相似度结合,试用时要验证过滤在负载下的表现,而不只是看文档。如果需要关键词加向量的混合检索,先决定是要内置能力还是用两个系统拼装。如果写入以批处理为主,索引吞吐量比单次查询延迟更重要。如果服务交互式搜索,则要关注并发负载下的尾部延迟和召回率。
部署方式。 嵌入式、单节点、分布式自托管和托管 Serverless 是不同产品,失败模式也不同。选择未来两年你确实能运维的部署方式,而不是演示起来最快的那种。
预算模型。 比较成本驱动因素而非标价:托管还是自托管、按查询还是按容量、存储与出网流量,以及维持系统健康所需的工程工时。托管服务把成本从人力转移到账单;自托管则相反。价目表会变,具体金额请以各厂商官方定价为准。
失败模式与迁移成本
常见失败模式是可预测的。粗暴重建索引或改动参数后召回率骤降。过滤条件在近似搜索之后才应用,导致过滤查询返回结果过少。删除的向量没有压实,内存持续增长。多租户隔离后期才补上,导致跨租户泄漏。单节点在流量到来时恰好成为单点故障。
迁移成本主要不在数据导出。真正的工作是:新系统要求不同距离度量时重新生成嵌入、重建索引、重写查询代码和访问控制、重新调优召回率,以及重跑评估集。要预留双写期和回滚路径。导出向量很容易;复现应用依赖的行为才是难的部分。
部署建议
- 本地起步:开发时用 Chroma 内存模式,生产迁移到 Qdrant 或 Pinecone。
- 索引调优:Qdrant 推荐 HNSW(m=16, ef_construct=200);pgvector 推荐 IVFFlat(lists=sqrt(N), probes=10)。
- 监控:跟踪查询延迟 p99、索引吞吐量和内存使用率,内存超 80% 时告警。
- 备份策略:Qdrant 支持快照;Pinecone 自动处理;pgvector 用 pg_dump --schema-only 导出索引定义。
一周验证清单
用自己的数据和自己的查询做试用,不要依赖厂商基准。
- 第 1 天:载入有代表性的数据切片(例如生产向量的 10–20%),带上真实元数据。
- 第 2 天:运行最重要的十个查询,外加刻意模糊的查询,手工记录相关性判断。
- 第 3 天:套用产品实际使用的过滤条件,确认结果数量和召回率。
- 第 4 天:按预期峰值并发压测,观察 p95/p99 延迟、内存和错误率。
- 第 5 天:杀掉一个节点、重启服务并从备份恢复,计时恢复过程。
- 第 6 天:重建索引,测量查询在此期间退化多久。
- 第 7 天:根据自己的用量和每月所需工程工时估算月度成本。
开始前先写下通过/不通过阈值。没有预设阈值的试用只会变成演示。
什么情况下一个都不选
当语料小到可以在 PostgreSQL 或内存中做精确检索时,当没有评估集、无法衡量检索质量时,或者当工作负载只是一次性分析而非在线服务时,可以不用专用向量数据库。如果你无法为所考虑的运维模式配人,也应暂缓。专用向量数据库会给技术栈增加一个有状态系统;如果检索问题还不是瓶颈,过早解决只会增加成本而没有用户价值。