架构与设计方案
知识库文件、数据块与检索索引
了解知识库集合、MongoDB 数据块、对象存储文件及向量索引的关系。
本文说明当前知识库存储关系,帮助定位导入和迁移问题。日常操作见创建和维护知识库。
文件与数据的关系
- 知识库保存模型与处理配置,并包含集合。
- 集合保存来源、文件标识、父目录及处理信息;文件夹集合组织子集合,内容集合包含数据块。
- 数据块的正文、问答、元数据和索引关联保存在 MongoDB 的
dataset_datas中,通过datasetId、collectionId关联知识库与集合。 - 原始文件和解析文本由对象存储相关服务保存。当前文件读取路径支持 S3 对象键,并保留旧 GridFS 文件标识的兼容读取。
- 检索索引按部署配置使用相应的向量后端;PG 是支持的选项之一。数据块与索引通过标识关联,具体存储结构随后端而异。
| 存储组件 | 核心集合 / 表 / 桶 | 承载数据内容 | 丢失或不一致时的影响 |
|---|---|---|---|
| MongoDB | datasets、dataset_collections、dataset_datas、dataset_data_texts、dataset_trainings | 知识库配置、集合树、数据块原文(q / a)、全文检索分词(dataset_data_texts,非 Milvus 向量库使用 MongoDB $text 检索;Milvus 的 BM25 由 modeldata_v2 承担)与训练队列 | 知识库列表、数据块正文与引用阅读器内容不可见 |
| VectorDB(PG / Milvus / OceanBase / SeekDB / OpenGauss) | modeldata / modeldata_v2 | 高维浮点向量、团队/知识库/集合过滤标量及索引 ID(dataId) | 语义检索与混合检索召回为空;需触发索引重建恢复 |
| S3 对象存储(RustFS / MinIO / 云存储) | 私有桶(Private Bucket)与公开桶(Public Bucket) | 用户上传的原始 PDF/Word/表格文件、文档内提取出的图片资源 | 原文下载失败或回答中的知识库内嵌图片无法加载 |
| Redis | BullMQ 队列与缓存键 | 大集合删除、同步调度与分布式锁状态 | 异步任务停滞,重启并恢复 Redis 连接后可继续消费 |
早期文档中的 PG file_id、manual、mark 特殊值描述旧版结构。排查当前部署时,应按运行版本的集合、数据块和索引标识核对。
文件导入流程
- 上传文件或连接外部来源,选择处理参数,并预览解析和分段结果。
- 创建对应集合,保存来源与处理配置。
- 后端按选定模式读取、解析和分段,解析完成后先写入数据块(初始状态为
parsed待索引),并创建关联知识库与集合的训练任务。 - 训练任务按处理模式调用语言模型或索引模型生成向量与检索索引(状态经
indexing流转为indexed已索引),并将索引写回对应数据块。 - 在知识库中检查处理状态和失败信息,再用已知答案的问题验证检索及原文访问。
备份或迁移应覆盖 MongoDB、实际使用的向量后端和对象存储,并保持三者的数据一致性。参见 Docker 数据迁移和对象存储配置。
在 GitHub 上编辑
文件更新时间