FastGPTFastGPT
架构与设计方案

知识库文件、数据块与检索索引

了解知识库集合、MongoDB 数据块、对象存储文件及向量索引的关系。

本文说明当前知识库存储关系,帮助定位导入和迁移问题。日常操作见创建和维护知识库。

知识库三层拓扑与底层存储关系知识库三层拓扑与底层存储关系

文件与数据的关系

  • 知识库保存模型与处理配置,并包含集合。
  • 集合保存来源、文件标识、父目录及处理信息;文件夹集合组织子集合,内容集合包含数据块。
  • 数据块的正文、问答、元数据和索引关联保存在 MongoDB 的 dataset_datas 中,通过 datasetId、collectionId 关联知识库与集合。
  • 原始文件和解析文本由对象存储相关服务保存。当前文件读取路径支持 S3 对象键,并保留旧 GridFS 文件标识的兼容读取。
  • 检索索引按部署配置使用相应的向量后端;PG 是支持的选项之一。数据块与索引通过标识关联,具体存储结构随后端而异。
存储组件核心集合 / 表 / 桶承载数据内容丢失或不一致时的影响
MongoDBdatasets、dataset_collections、dataset_datas、dataset_data_texts、dataset_trainings知识库配置、集合树、数据块原文(q / a)、全文检索分词(dataset_data_texts,非 Milvus 向量库使用 MongoDB $text 检索;Milvus 的 BM25 由 modeldata_v2 承担)与训练队列知识库列表、数据块正文与引用阅读器内容不可见
VectorDB(PG / Milvus / OceanBase / SeekDB / OpenGauss)modeldata / modeldata_v2高维浮点向量、团队/知识库/集合过滤标量及索引 ID(dataId)语义检索与混合检索召回为空;需触发索引重建恢复
S3 对象存储(RustFS / MinIO / 云存储)私有桶(Private Bucket)与公开桶(Public Bucket)用户上传的原始 PDF/Word/表格文件、文档内提取出的图片资源原文下载失败或回答中的知识库内嵌图片无法加载
RedisBullMQ 队列与缓存键大集合删除、同步调度与分布式锁状态异步任务停滞,重启并恢复 Redis 连接后可继续消费

早期文档中的 PG file_id、manual、mark 特殊值描述旧版结构。排查当前部署时,应按运行版本的集合、数据块和索引标识核对。

文件导入流程

  1. 上传文件或连接外部来源,选择处理参数,并预览解析和分段结果。
  2. 创建对应集合,保存来源与处理配置。
  3. 后端按选定模式读取、解析和分段,解析完成后先写入数据块(初始状态为 parsed 待索引),并创建关联知识库与集合的训练任务。
  4. 训练任务按处理模式调用语言模型或索引模型生成向量与检索索引(状态经 indexing 流转为 indexed 已索引),并将索引写回对应数据块。
  5. 在知识库中检查处理状态和失败信息,再用已知答案的问题验证检索及原文访问。

备份或迁移应覆盖 MongoDB、实际使用的向量后端和对象存储,并保持三者的数据一致性。参见 Docker 数据迁移和对象存储配置。

在 GitHub 上编辑

文件更新时间

本页导航

准备好开始了吗?

让你的企业知识真正被 AI 用起来