# 本地文档与非结构化数据导入

> 掌握本地文档上传、切片参数配置、分块存储与问答对提取模式选型，以及数据预览校验。

Source: https://doc.fastgpt.cn/zh-CN/guide/dataset/import-data

本指南指导你将企业本地文档（如政策规范、产品手册、培训资料）导入 FastGPT 知识库，并合理配置切片参数以保障下游检索召回率。

## 支持的文件格式

FastGPT 支持以下文档类型导入与解析：

* **纯文本与网页/电子书**：`.txt`, `.md`, `.html`, `.rtf`, `.epub`
* **办公文档与版式文件**：`.pdf`, `.ofd`, `.docx`, `.doc`, `.wps`, `.docm`, `.odt`, `.pptx`, `.ppt`, `.pps`, `.pot`, `.pptm`, `.ppsx`, `.ppsm`, `.odp`
* **表格与结构化导出**：`.csv`, `.xlsx`, `.xls`, `.xlsm`, `.xlsb`, `.ods`（其中 `.doc`、`.wps`、`.ppt`、`.xls`、`.odt`、`.rtf`、`.epub` 等扩展格式由文档解析服务补充支持）

普通文件上传上限由系统配置 `uploadFileMaxSize`（默认 1000 MB）决定，单文件体积建议控制在 50 MB 以内以保证解析效率；[结构化表格模版导入](/zh-CN/guide/dataset/template)固定限制单次上传 1 个不超过 50 MB 的文件。上传超大扫描件时，可先在本地使用 OCR 工具提取文本。

## 步骤一：上传本地文件

1. 打开目标知识库，点击右上角的**新建/导入**，选择**文本数据集**。
2. 在弹出的**选择来源**窗口中选择**本地文件**，点击**确认**。
3. 拖拽或点击上传本地文件，支持单次批量选择多个文件同时上传。
4. 等待所有文件上传进度达到 100%，点击**下一步**。

![导入前预览文本分块保持核心语义完整](/imgs/optimized/current/knowledge-preview.png.webp)

## 步骤二：选择数据处理模式

在参数配置页的**处理方式**中选择对应的处理模式：

### 1. 分块存储（Direct Chunking）

* **运作机制**：按段落与字符数将原文切分为若干独立数据块，直接生成向量和全文索引。
* **适用场景**：条款规章、学术论文、技术白皮书、通用长篇说明。
* **参数配置建议**：
  * **分块上限**：从当前默认值开始，通过预览核对条款与表格行的完整性，再调整大小。
  * **分块边界**：检查跨段引用与重复文本，可用控制项取决于所选切分模式。
  * **自定义分隔符**：支持配置 `\n\n` 或自定义换行符，优先按照章节标题进行天然切分。

### 2. 问答对提取（QA Extraction）

* **运作机制**：在后台调用大语言模型预先读取切片内容，自动归纳出若干“问题-答案”对，并针对问题生成向量索引。
* **适用场景**：客服高频问答表、员工手册关键问答、产品功能速查。
* **参数配置建议**：配置高质量的对话模型，并编写清晰的提取提示词，确保生成的问答对忠实于原文事实。

## 步骤三：数据预览与质量核查

导入向导共包含 **选择文件 → 参数设置 → 数据预览 → 确认上传** 四步。在参数设置页点击 **下一步** 进入 **数据预览** 界面（预览最多展示前 10 个分块），在写入向量库前抽查分块质量：

1. **段落连贯性**：点击左侧不同文件条目，核对右侧分块是否在完整句意处断开。
2. **表格与列表**：确认 Markdown 表格、数字序号与标题层级未出现混乱错位。
3. **参数微调**：发现分块过碎或过长时，点击导入页顶部左侧的**上一步**调整分块上限数值，系统将立即重新计算预览。

## 步骤四：提交训练与进度跟踪

1. 确认预览质量达标后，点击右下角 **下一步** 进入 **确认上传** 步骤，再点击 **开始上传**。
2. 系统创建后台异步任务并开始消费。在知识库集合列表中可以实时观察处理状态：
   * 显示“排队中”“内容解析中”“图片解析中”“索引向量化”“问答对提取”“自动索引生成”或“图片索引生成”表示正在执行对应处理阶段。
   * 状态转为“已就绪”表示双索引均已完成入库；失败时状态显示为“训练异常”。
3. 遇到训练异常时，点击集合列表右上角的**异常列表**查看失败原因，并在弹窗中按条点击**重试**或点击**全部重试**重新发起训练。

## 下一步

* 验证检索质量：查阅 [搜索测试与检索调优](/zh-CN/guide/dataset/test-retrieval)。
* 挂载至应用：查阅 [将知识库接入应用](/zh-CN/guide/dataset/connect-application)。
* 结构化数据：查阅 [结构化表格模板导入规范](/zh-CN/guide/dataset/template)。