# 知识库全生命周期全景

> 掌握知识库的三层资产拓扑、异步训练管线、状态流转与全生命周期维护流程。

Source: https://doc.fastgpt.cn/zh-CN/guide/dataset/lifecycle

知识库是 FastGPT 承载非结构化与结构化业务知识的核心资产库。掌握其三层拓扑、后台异步处理流程及状态流转逻辑，有助于高效组织数据并保障问答质量。

## 三层资产拓扑架构

系统通过三层层级模型管理所有知识资产：

![知识资产层级](/imgs/diagrams/knowledge-hierarchy.zh-CN.light.svg)

1. **知识库（Knowledge Base）**：定义底层向量检索模型、BM25 全文分词策略、存储库配置与团队级协作者权限。
2. **集合（Collection）**：组织与隔离数据的单元。**内容集合**保存具体上传的文件、网页或同步数据；**文件夹**（目录集合）建立树状层级关系，方便批量授权与标签分类。
3. **数据块（Data Chunk）**：经由切片算法格式化后的独立实体。每个数据块保存原始文本及索引 ID、索引文本等关联信息；向量由向量存储后端保存，支持单块独立编辑与重建。

***

## 全生命周期五大阶段

知识资产在系统中经历以下五个连续阶段：

| 阶段          | 核心任务                    | 交付物与系统动作                     |
| ----------- | ----------------------- | ---------------------------- |
| **1. 采集接入** | 选择文件上传、结构化表格、网页爬取或第三方同步 | 文件安全校验、写入 S3 对象存储、创建集合记录     |
| **2. 文本解析** | 提取非结构化文本内容，按语义进行分块切片    | 生成待处理数据块记录，排队等待训练队列消费        |
| **3. 索引构建** | 调用模型生成高维向量，构建全文倒排索引     | 写入向量数据库与 Mongo 索引库，状态转为“已就绪” |
| **4. 检索服务** | 响应用户提问，执行多路召回与重排过滤      | 提取最相关候选分块，向应用层输出带有引用来源的上下文   |
| **5. 维护归档** | 单块微调、文档增量覆盖、标签过滤与过期清理   | 触发局部向量重算或级联软删除，保持知识库新鲜度      |

***

## 后台异步训练管线与状态机

文件上传成功后，系统通过分布式任务队列（BullMQ / Mongo 训练记录）进行异步处理：

![文件处理阶段与重试](/imgs/diagrams/ingestion-pipeline.zh-CN.light.svg)

### 处理阶段与集合状态

图中的等待、解析分块、按配置增强和索引构建表示处理阶段。队列积压时任务继续等待；处理失败会进入重试或错误排查。

集合状态在接口层使用以下三个枚举值，并在界面展示具体阶段文案：

* **进行中（`running`）**：处理任务仍在进行，界面按阶段显示**排队中 / 内容解析中 / 图片解析中 / 索引向量化 / 问答对提取 / 自动索引生成 / 图片索引生成 / 索引重建 / 同义词重建**。
* **已就绪（`ready`）**：界面显示**已就绪**，处理完成，数据块可供检索。
* **训练异常（`error`）**：界面显示**训练异常**，需在**异常列表**弹窗中结合错误原因修复文件、模型额度或网络等前置条件，再执行重试。

## 下一步

* 导入实操：查阅 [文档与数据切片导入](/zh-CN/guide/dataset/import-data)。
* 表格规范：查阅 [结构化数据模板规范](/zh-CN/guide/dataset/template)。
* 检索调优：学习 [搜索测试与参数调优](/zh-CN/guide/dataset/test-retrieval)。
* 接入应用：学习 [将知识库接入应用](/zh-CN/guide/dataset/connect-application)。