长文档索引与恢复¶
每个知识库都会在 .indexing-run.json 中记录其最近一次索引运行。Files/detail 视图会显示 索引恢复详细信息,包括各个源的结果、当前阶段及阶段内计数、已用运行时间、自上次输出/活动以来的时间,以及自上次可测量进度以来的时间。某个阶段达到其最后一个批次并不能证明整个索引已就绪。中断后,未知的工作仍然是未知的;它绝不会被计为成功的文档。
GET /api/knowledge-bases/{id}/indexing-readiness 会执行轻量级解析器、格式和嵌入配置检查,而无需下载模型或发送提供商请求。就绪状态不保证后续下载、可用 RAM 或 GPU 内存,也不保证提供商的运行时响应。运行时故障会在持久化运行记录中保留其有界且已对凭据进行脱敏的原因。
重试使用现有的内容寻址解析器缓存:源字节与解析器签名必须匹配,并且可用的文本或块必须仍然存在。MinerU 云端 PDF 分片仅复用经过验证的检查点。更改嵌入可以复用解析结果,但会为新嵌入签名构建单独的索引版本。没有可用检查点的中断阶段会重新开始;日志本身并不是第二个缓存,也不会伪造部分嵌入。
取消是特定于任务的,并在安全边界处生效。受管的本地 MinerU 进程也会响应取消,并在 600 秒无输出或总计 7200 秒后失败。其他同步引擎无法被随意中断;取消操作会保持待处理状态,直到它们返回。停滞的 LlamaIndex 执行器在其真正退出之前,不得在同一进程内进行重叠重试;并且在失去所有权后无法发布其候选结果。
LlamaIndex 重建和增量添加使用全新的版本目录。候选结果在持久化索引重新加载、其向量验证通过、并且使用存储向量的检索探针返回一个节点之前,保持未发布状态。发布元数据以原子方式写入。索引期间源文件发生变化会拒绝发布。失败或部分完成的候选结果不会覆盖先前可查询的版本。已完成和失败的源文件会单独报告,包括部分成功的情况。持久化日志的作用范围限定于当前用户/工作区的知识库;链接的/只读知识库无法通过变更路由取消。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 dee/DeepTutor