模型评测从榜单分数转向真实业务效果，行业呼吁统一测试协议

许多团队发现，公共榜单排名高并不代表在特定行业任务中稳定。幻觉率、指令遵循和工具调用可靠性需要更细颗粒度测试。

业务导向的评测方法

企业正在构建包含历史工单、专家判断和用户反馈的数据集，用于模型上线前的回归测试。

• 任务型指标：是否准确调用工具、是否拒绝超出权限请求
• 质量型指标：输出格式、引用准确性、语气一致
• 成本型指标：延迟、token 消耗与人工修复比例

行业也在呼吁第三方机构提供更透明的测试方法和复现条件。