问答场景分类评测方案说明

9 个子类别按评估侧重点分为两组，分别走不同的评估路径：

内容型（重答案内容本身的质量）：

功能型（重工具是否被正确调用、工具结果是否满足要求）：

恶劣 Case 错题本（线上模型一贯易错、需重点盯防的硬骨头）：

错题本是一个独立于内容型 / 功能型的横切集合：它汇集历史上反复出错的样本，来源不限（可来自任意子类别、用户投诉、Badcase 回流、人工标注等），唯一的共同点是「我们线上模型容易答错」。该集合动态更新——新发现的 Badcase 持续补充进来，已被模型稳定攻克的 Case 可定期退出，使其始终代表当前最棘手的失败面。

Query 来源：全部来自线上真实用户数据采样，包含单轮与多轮（带对话历史）两种形态，按 9 个子类别的真实分布覆盖。

候选答案构成：每条 query 对应两路答案—— a · 线上模型（线上正在服务的答案） b · WeLM 模型采样 3–5 条 即「线上 1 条 + WeLM 3–5 条」的多答候选集，直接支撑结果二的多答分维度排序横评。

各类别数据量目标（正例 + 负例）：每个类别除「正例」（确实应当走该功能 / 类别的样本）外，额外补充一批「负例（过召回）」——即本不应被召回为该功能、却被线上模型误召回的样本，用于考察模型的「该不该出手」边界判断，而不只是「出手后做得好不好」。

正例合计 1100 条（2×200 + 7×100）；每类各补 50 条过召回负例，负例合计 450 条；总规模约 1550 条 query。负例条数可按各类别线上实际过召回严重程度调整。

什么是负例（过召回）：对某个功能 / 类别而言，负例指「本不应触发该功能、模型却错误地把它当成该类别来处理」的 query。例如音乐类的负例，就是本来根本不该召回音乐、但线上模型却召回了音乐的样本。它直接暴露模型在「边界判定 / 意图识别」上的过召回缺陷。

关键要求 —— 必须注明「应归档类别」：每一条负例都不能只标「不是音乐」，而要进一步标注它本应被正确归属到哪个类别（可以是另一个功能型类别、内容型类别，或「无需任何功能（纯通用问答 / 闲聊）」）。这样负例既能评「是否过召回」，又能评「正确意图是什么」，形成完整的混淆分析。

上表仅为示意，实际负例从线上过召回 Badcase 采样。「正确应归档类别」可多选 / 含「无需功能」。这批负例同时回流补充第 2 章的恶劣 Case 错题本，并支撑「该不该出手」这一边界维度的评估。

采用「共性维度 + 类别附加维度」的叠加设计——所有类别共享一套内容维度（含个性化），特定类别再叠加自己的专属维度；恶劣 Case 错题本作为独立的横切类别，同样纳入维度矩阵参与统计。

说明：共性维度（可读性 / 引用正确性 / 信息量 / 个性化）对全部类别强制执行——其中个性化考察答案是否结合用户短期、长期记忆做出针对性回答；「图片质量·风格·追问」仅配图类（及含图样本）适用，「追问」指针对图片内容的进一步追问能否被正确理解与回应；「功能性评估」=「工具是否被正确调用」+「工具结果是否满足要求」，对功能型类别适用。恶劣 Case 错题本因来源混杂、可覆盖任意类型样本，故全维度可适用，并随线上 Badcase 动态更新。

说明：本次涉及的评估不包含延展部分，仅覆盖上述已明确列出的类别与维度；延展能力（如更长尾的场景、深度多轮链路追踪等）暂不纳入本轮评测范围。