01
Problem
零散反馈无法直接变成产品判断
用户反馈会混合现象、情绪、场景和期望；单条 badcase 也无法说明一个能力是否值得投入。
问题现象使用场景可复现条件影响程度能力归因
基于实际评测工作抽象 · 只呈现问题类别，不改写或模拟用户原话
02
From Feedback to Taxonomy
先把反馈变成可以讨论的问题类别
Raw / Scattered
零散问题
不一致描述
个体体验
抽象→统一描述
Structured / Discussable问题类型使用场景观察维度可复现条件
分类不只是整理文本，而是为后续测试集、评测维度和优化优先级提供共同语言。
脱敏重构示意
03
Evaluation Design
让模型表现从“感觉”变成可比较的观察
Source反馈 / badcase
Dimension统一观察维度
Comparison测试 case 对比
Insight可讨论的产品假设
从真实问题类型出发，经过统一维度和测试 case 对比，形成可以继续讨论的产品假设，而不是给生成结果做主观好坏判断。
04
Evaluation Matrix
用匿名化矩阵定位问题分布
问题类型场景观察维度验证方式
指令理解指令与结果语义准确性对比观察
主体稳定连续生成画面一致性多轮对比
商品贴合商品与人物关系关系贴合度badcase 回看
局部修复局部调整结果可控性前后对照
矩阵将主观体验转为可比较的观察结构，不使用未经核验的精确分数，也不呈现内部正式数据。
05
From Evaluation to Product Insight
把评测结果翻译成产品优化方向
Observation 01重复问题集中在特定使用场景
支持讨论测试覆盖与体验关注优先级。
Observation 02同类现象可能来自能力、输入或流程
为产品与算法讨论提供分层的评测依据。
Observation 03局部问题在不同 badcase 中重复出现
将问题转换为可以继续验证的体验优化假设。
06
Role Boundary
明确实习贡献与协作边界
- 分析用户反馈与 badcase
- 整理测试 case、评测维度，并参与竞品 / 模型能力比较
- 沉淀产品需求与体验优化建议
- 与产品、算法、设计等角色协作推进
- 共同讨论产品优先级与路线判断
- 依赖团队完成模型、功能实现与持续验证
- 独立建立完整绘蛙评测体系
- 独立决定产品路线或负责整个产品
- 使用缺乏归因证据的增长指标
07
Reflection
评测的价值，是让产品讨论拥有共同证据
用户反馈不是用来看一眼的；只有被转成可复现、可比较、可继续验证的问题，它才可能真正进入产品决策。