affaan-m/eval-harness

面向 Claude Code 会话的正式评估框架，遵循 evals 驱动开发（EDD）原则

研究分析开发 Agent Agent 技能调研评估框架搭建 Claude Code 评测 Pass 率度量代理可靠性测试回归测试套件

技术栈: cursor24万+许可证: MIT开发者: affaan-m

Skill 介绍Skill 文件

重要提示：本站仅作 Skill 资源导航与收录，正文以 GitHub 原仓库为准，版权归原项目所有。

在 GitHub 查看 ↗

原文译文

以下为摘要预览，完整内容请查看 GitHub 原文。

Skill Eval Harness

Un framework formal de evaluación para sesiones de Claude Code, implementando principios de desarrollo orientado a evals (EDD).

Cuándo Activar

Configurar desarrollo orientado a evals (EDD) para flujos de trabajo asistidos por IA
Definir criterios de pass/fail para la completitud de tareas en Claude Code
Medir confiabilidad del agente con métricas pass@k
Crear suites de pruebas de regresión para cambios de prompts o agentes
Comparar rendimiento del agente entre versiones de modelos

Filosofía

El Desarrollo Orientado a Evals trata los evals como las "pruebas unitarias del desarrollo de IA":

Definir el comportamiento esperado ANTES de la implementación
Ejecutar evals continuamente durante el desarrollo
Rastrear regresiones con cada cambio
Usar métricas pass@k para medición de confiabilidad

Tipos de Eval

Evals de Capacidad

Probar si Claude puede hacer algo que antes no podía:

[CAPABILITY EVAL: feature-name]
Task: Descripción de lo que Claude debe lograr
Success Criteria:
  - [ ] Criterio 1
  - [ ] Criterio 2
  - [ ] Criterio 3
Expected Output: Descripción del resultado esperado

Evals de Regresión

Asegurar qu…

以下为摘要预览，完整内容请查看 GitHub 原文。

Skill Eval Harness

面向 Claude Code 会话的正式评估框架，遵循 evals 驱动开发（EDD）原则。

何时启用

为 AI 辅助工作流配置 evals 驱动开发（EDD）
为 Claude Code 中的任务完成度定义 pass/fail 判定标准
使用 pass@k 指标衡量智能体的可靠性
为 prompt 或智能体的变更创建回归测试套件
比较不同模型版本之间的智能体表现

理念

Evals 驱动开发将 evals 视为“AI 开发的单元测试”：

在实现之前先定义预期行为
在开发过程中持续运行 evals
跟踪每次变更的回归情况
使用 pass@k 指标衡量可靠性

Eval 类型

能力评估（Capability Evals）

测试 Claude 是否能够完成此前无法完成的任务：

[CAPABILITY EVAL: feature-name]
Task: 描述 Claude 应完成的任务
Success Criteria:
  - [ ] 条件 1
  - [ ] 条件 2
  - [ ] 条件 3
Expected Output: 预期结果的描述

回归评估（Regression Evals）

确保变更不会破坏既有功能：

[REGRESSION EVAL: feature-name]
Baseline: SHA 或 checkpoint 名称
Tests:
  - existing-test-1: PASS/FAIL
  - existing-test-2: PASS/FAIL
  - existing-test-3: PASS/FAIL
Result: X/Y 通过（此前为 Y/Y）

评估器类型

1. 基于代码的评估器

使用代码进行确定性检查：

# 检查文件是否包含预期的模式
grep -q "export function handleAuth" src/auth.ts && echo "PASS" || echo "FAIL"

# 检查测试是否通过
npm test -- --testPathPattern="auth" && echo "PASS" || echo "FAIL"

# 检查构建是否成功
npm run build && echo "PASS" || echo "FAIL"

2. 基于模型的评估器

使用 Claude 对开放式输出进行评估：

[MODEL GRADER PROMPT]
评估以下代码变更：
1. 是否解决了所声明的问题？
2. 结构是否合理？
3. 是否处理了边界情况？…

重要提示：源文件不在本站托管，请通过 GitHub 查看与下载。

索引更新于 8/25/2026, 9:18:05 PMGitHub ↗

SKILL.md5.9 KB在 GitHub 查看 ↗

相关资源

按类型、任务、场景与标签加权推荐

itsPremkumar/mcptest

MCP · Model · Context · Protocol · 测试工具 · 调试 · 开发框架

Automated MCP Server Testing Framework

yair4Data/mcp-security-analyzer

MCP · 安全审计 · 配置扫描 · 权限分析 · 开发工具

Comprehensive security testing framework for Model Context Protocol (MCP) server

Web Search Agents by Nimble

web · search · real-time · data · AI · agent · scraping · structured

网络搜索代理是针对您特定领域（例如公司信息丰富、法规研究等）的专业网络爬虫和研究代理。它们会自主学习您的使用场景，深入挖掘对您最重要的资源，从而为您的 AI 提供更深入、更相关的网络上下文

Demovanta

AI · Agent · 演示平台 · 评测 · 开发工具

。只需粘贴URL，一个真实浏览器就会打开你的网页，模拟浏览操作，并用你的母语旁白讲解屏幕上的内容

Krevios

AI代理 · 企业自动化 · 研究 · 工作流

你可以生成与编辑图像、制作视频、合成文本与排版——全程只需以可视化方式连接节点，无需编写代码

AIplayworld.io

AI代理 · 虚拟世界 · 基准测试 · 游戏环境 · LLM评测

An immersive AI adventure platform（沉浸式 AI 冒险平台）