本地文档与非结构化数据导入

本指南指导你将企业本地文档（如政策规范、产品手册、培训资料）导入 FastGPT 知识库，并合理配置切片参数以保障下游检索召回率。

支持的文件格式

FastGPT 支持以下文档类型导入与解析：

• 纯文本与网页/电子书：.txt, .md, .html, .rtf, .epub
• 办公文档与版式文件：.pdf, .ofd, .docx, .doc, .wps, .docm, .odt, .pptx, .ppt, .pps, .pot, .pptm, .ppsx, .ppsm, .odp
• 表格与结构化导出：.csv, .xlsx, .xls, .xlsm, .xlsb, .ods（其中 .doc、.wps、.ppt、.xls、.odt、.rtf、.epub 等扩展格式由文档解析服务补充支持）

普通文件上传上限由系统配置 uploadFileMaxSize（默认 1000 MB）决定，单文件体积建议控制在 50 MB 以内以保证解析效率；结构化表格模版导入固定限制单次上传 1 个不超过 50 MB 的文件。上传超大扫描件时，可先在本地使用 OCR 工具提取文本。

步骤一：上传本地文件

1. 打开目标知识库，点击右上角的新建/导入，选择文本数据集。
2. 在弹出的选择来源窗口中选择本地文件，点击确认。
3. 拖拽或点击上传本地文件，支持单次批量选择多个文件同时上传。
4. 等待所有文件上传进度达到 100%，点击下一步。

步骤二：选择数据处理模式

在参数配置页的处理方式中选择对应的处理模式：

1. 分块存储（Direct Chunking）

• 运作机制：按段落与字符数将原文切分为若干独立数据块，直接生成向量和全文索引。
• 适用场景：条款规章、学术论文、技术白皮书、通用长篇说明。
• 参数配置建议：
  • 分块上限：从当前默认值开始，通过预览核对条款与表格行的完整性，再调整大小。
  • 分块边界：检查跨段引用与重复文本，可用控制项取决于所选切分模式。
  • 自定义分隔符：支持配置 \n\n 或自定义换行符，优先按照章节标题进行天然切分。

2. 问答对提取（QA Extraction）

• 运作机制：在后台调用大语言模型预先读取切片内容，自动归纳出若干“问题-答案”对，并针对问题生成向量索引。
• 适用场景：客服高频问答表、员工手册关键问答、产品功能速查。
• 参数配置建议：配置高质量的对话模型，并编写清晰的提取提示词，确保生成的问答对忠实于原文事实。

步骤三：数据预览与质量核查

导入向导共包含 选择文件 → 参数设置 → 数据预览 → 确认上传 四步。在参数设置页点击 下一步 进入 数据预览 界面（预览最多展示前 10 个分块），在写入向量库前抽查分块质量：

1. 段落连贯性：点击左侧不同文件条目，核对右侧分块是否在完整句意处断开。
2. 表格与列表：确认 Markdown 表格、数字序号与标题层级未出现混乱错位。
3. 参数微调：发现分块过碎或过长时，点击导入页顶部左侧的上一步调整分块上限数值，系统将立即重新计算预览。

步骤四：提交训练与进度跟踪

1. 确认预览质量达标后，点击右下角 下一步 进入 确认上传 步骤，再点击 开始上传。
2. 系统创建后台异步任务并开始消费。在知识库集合列表中可以实时观察处理状态：
   • 显示“排队中”“内容解析中”“图片解析中”“索引向量化”“问答对提取”“自动索引生成”或“图片索引生成”表示正在执行对应处理阶段。
   • 状态转为“已就绪”表示双索引均已完成入库；失败时状态显示为“训练异常”。
3. 遇到训练异常时，点击集合列表右上角的异常列表查看失败原因，并在弹窗中按条点击重试或点击全部重试重新发起训练。

下一步

• 验证检索质量：查阅 搜索测试与检索调优。
• 挂载至应用：查阅 将知识库接入应用。
• 结构化数据：查阅 结构化表格模板导入规范。