长程推理与安全检查清单¶
当辅导回答看起来不可靠、中途改变假设、引用薄弱证据，或未能反映学习者所选材料时，请使用此清单。它有意保持诊断性：帮助用户收集有用的证据，并帮助维护者区分提示词问题、检索问题、上下文问题或产品缺陷。
快速诊断问题¶
- 学习者最初要求什么？哪些约束或定义仍然重要？
- 运行了哪项能力？启用了哪些工具？实际发生了哪些工具调用？
- 回答依赖于哪个知识库、附件、阅读材料、书籍或网页结果？
- 回答是引用、转述了具体证据，还是仅仅听起来有权威性？
- 之前的某轮对话是否被忽略、过度应用，或与不同学习者的上下文混在一起？
- 模型是否说明了哪些内容未知、不确定或超出所选材料范围？
故障模式¶
| 故障模式 | 常见症状 | 可能原因 | 核查方法 |
|---|---|---|---|
| 长程约束丢失 | 后续步骤忘记之前的定义、目标、符号、限制或更正 | 上下文截断、分支混合、工具观察结果过多、对约束的重述不足 | 对比最终提示词的相关历史、会话分支和轮次元数据；在新一轮中重复缺失的约束，观察行为是否变化 |
| 检索漂移 | 回答切题，但使用了不相关的来源，或回答了相近但不相同的问题 | 查询歧义、索引过期、来源混杂、top-k 过宽、缺少重排序或来源过滤 | 检查工具输入和检索到的分块 ID；一次只对一个知识库或附件运行相同问题；重建或刷新过期索引 |
| 弱证据下的过度自信 | 确定性的回答、评分、诊断或建议没有引用，或忽略了矛盾 | 检索结果为空、匹配置信度低、模型默认使用先验知识、缺少不确定性指令 | 检查检索是否返回空结果或低分结果；要求给出确切的支持段落；使用仅基于证据的指令重试 |
| 反馈未以材料为依据 | 解释、测验答案或更正与上传的课程材料不一致 | 选错了来源、书本页面过期、引用定位符不匹配、来源相互冲突 | 对比引用的定位符、所选材料和当前来源版本；验证页面或章节锚点以及来源是否已更改 |
检索失败模式¶
检查最能描述所观察行为的模式：
- 无检索： 工具可用但未被调用。
- 范围错误： 检索搜索了另一个知识库、合作伙伴工作区、附件或用户上下文。
- 来源过期： 生成检索产物后，文档或索引发生了变化。
- 分块边界截断： 定义、表格、证明、代码块或说明文字被截成两半。
- 近似主题漂移： 分块共享词汇但回答的是另一个问题。
- 关键词不匹配： 来源使用的术语与学习者的问题不同。
- 翻译不匹配： 翻译后的查询与来源语言不一致。
- 重复分块： 同一段落挤掉了其他相关证据。
- top-k 过宽： 弱匹配稀释了少数强匹配的权重。
- 缺少重排序： 语义初选候选在使用前未经过精化。
- 来源冲突： 来源相互矛盾，模型默默选择了一个。
- 未经验证的外部来源： 使用网页结果时未检查权威性、日期或佐证。
- 引用不匹配： 陈述与引用的段落互不支持。
- 定位符不匹配： 页面、章节、标题或锚点指向了错误的位置。
- 空结果或被过滤的结果： 访问、解析、MIME、语言或元数据过滤移除了所需分块。
- 幻觉证据： 引用、数字、标题或引文不存在于任何返回的来源中。
需要收集的证据¶
在提交问题之前，准备一份最小化且隐私安全的报告：
- DeepTutor 版本、操作系统、Python 和 Node 版本，以及安装模式。
- 使用的能力和模型，包括是否更改了推理投入或模型专属设置。
- 所选的知识库、附件、阅读材料、书籍或合作伙伴工作区，除非可以安全共享，否则不要上传私人文档。
- 相关的用户请求和助手回答，并移除个人数据。
- 来自活动面板或 JSON 运行输出的工具名称、参数、结果摘要和引文 ID。
- 复现不匹配所需的检索片段或引文定位符。
- 重试、选择单一来源、重建索引或重述约束是否会改变结果。
- 请求前后的服务器日志，并移除 API 密钥、令牌、本地路径、用户名和个人内容。
避免共享凭据、学生私人作业、个人标识符或机密文档。保留结构的人造或精简来源摘录通常足以复现检索问题。
问题报告模板¶
Capability:
Model:
DeepTutor version:
What the learner asked:
What DeepTutor answered:
Why the answer looks wrong:
Selected sources:
Tool calls observed:
Retrieved snippet or citation IDs:
Reproducible steps:
Expected behavior:
Actual behavior:
What I already tried:
实现与验证¶
本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 dee/DeepTutor