affaan-m/eval-harness

为应用 eval-driven development (EDD) 原则的 Claude Code 会话提供正式评估框架

研究分析开发 Agent Agent 技能写测试调研评估驱动开发 Agent 基准评测回归测试套件 Claude Code 评估 Prompt 性能度量

技术栈: cursor24万+许可证: MIT开发者: affaan-m

Skill 介绍Skill 文件

重要提示：本站仅作 Skill 资源导航与收录，正文以 GitHub 原仓库为准，版权归原项目所有。

在 GitHub 查看 ↗

原文译文

以下为摘要预览，完整内容请查看 GitHub 原文。

Eval Harness Skill

Claude Code oturumları için eval-driven development (EDD) ilkelerini uygulayan formal değerlendirme çerçevesi.

Ne Zaman Aktifleştirmeli

AI destekli iş akışları için eval-driven development (EDD) kurarken
Claude Code görev tamamlama için geçti/kaldı kriterleri tanımlarken
pass@k metrikleriyle agent güvenilirliğini ölçerken
Prompt veya agent değişiklikleri için regresyon test paketleri oluştururken
Model versiyonları arasında agent performansını benchmark ederken

Felsefe

Eval-Driven Development, eval'ları "AI geliştirmenin birim testleri" olarak ele alır:

İmplementasyondan ÖNCE beklenen davranışı tanımla
Geliştirme sırasında eval'ları sürekli çalıştır
Her değişiklikle regresyonları izle
Güvenilirlik ölçümü için pass@k metriklerini kullan

Eval Tipleri

Capability Eval'ları

Claude'un daha önce yapamadığı bir şeyi yapıp yapamadığını test et:

[CAPABILITY EVAL: feature-name]
Görev: Claude'un başarması gereken şeyin açıklaması
Başarı Kriterleri:
  - [ ] Kriter 1
  - [ ] Kriter 2
  - [ ] Kriter 3
Beklenen Çıktı: Beklenen sonucun açıklaması

Regression Eval'ları

Değişikliklerin mevcut fonksiyonaliteyi bozmadığından…

以下为摘要预览，完整内容请查看 GitHub 原文。

Eval Harness Skill

为 Claude Code 会话提供应用 eval-driven development (EDD) 原则的正式评估框架。

何时启用

为 AI 驱动的工作流建立 eval-driven development (EDD) 时
为 Claude Code 任务完成定义通过/失败标准时
使用 pass@k 指标衡量 agent 可靠性时
为 prompt 或 agent 变更构建回归测试套件时
在不同模型版本之间对 agent 性能进行基准测试时

理念

Eval-Driven Development 将 eval 视为 "AI 开发的单元测试"：

在实现之前定义期望行为
在开发过程中持续运行 eval
通过每次变更跟踪回归
使用 pass@k 指标衡量可靠性

Eval 类型

Capability Eval

测试 Claude 能否完成此前无法完成的任务：

[CAPABILITY EVAL: feature-name]
任务：对 Claude 需要完成事项的描述
成功标准：
  - [ ] 标准 1
  - [ ] 标准 2
  - [ ] 标准 3
预期输出：对预期结果的描述

Regression Eval

确保变更不会破坏现有功能：

[REGRESSION EVAL: feature-name]
基线：SHA 或 checkpoint 名称
测试：
  - existing-test-1: PASS/FAIL
  - existing-test-2: PASS/FAIL
  - existing-test-3: PASS/FAIL
结果：X/Y 通过 (此前 Y/Y)

Grader 类型

1. Code-Based Grader

使用代码进行确定性检查：

# 检查文件是否包含预期模式
grep -q "export function handleAuth" src/auth.ts && echo "PASS" || echo "FAIL"

# 检查测试是否通过
npm test -- --testPathPattern="auth" && echo "PASS" || echo "FAIL"

# 检查构建是否成功
npm run build && echo "PASS" || echo "FAIL"

2. Model-Based Grader

使用 Claude 评估开放式输出：

[MODEL GRADER PROMPT]
评估以下代码变更：
1. 是否解决了指定问题？
2. 是否结构良好？
…

重要提示：源文件不在本站托管，请通过 GitHub 查看与下载。

索引更新于 8/25/2026, 9:18:05 PMGitHub ↗

SKILL.md7.2 KB在 GitHub 查看 ↗

相关资源

按类型、任务、场景与标签加权推荐

itsPremkumar/mcptest

MCP · Model · Context · Protocol · 测试工具 · 调试 · 开发框架

Automated MCP Server Testing Framework

yair4Data/mcp-security-analyzer

MCP · 安全审计 · 配置扫描 · 权限分析 · 开发工具

Comprehensive security testing framework for Model Context Protocol (MCP) server

Web Search Agents by Nimble

web · search · real-time · data · AI · agent · scraping · structured

网络搜索代理是针对您特定领域（例如公司信息丰富、法规研究等）的专业网络爬虫和研究代理。它们会自主学习您的使用场景，深入挖掘对您最重要的资源，从而为您的 AI 提供更深入、更相关的网络上下文

Demovanta

AI · Agent · 演示平台 · 评测 · 开发工具

。只需粘贴URL，一个真实浏览器就会打开你的网页，模拟浏览操作，并用你的母语旁白讲解屏幕上的内容

Krevios

AI代理 · 企业自动化 · 研究 · 工作流

你可以生成与编辑图像、制作视频、合成文本与排版——全程只需以可视化方式连接节点，无需编写代码

AIplayworld.io

AI代理 · 虚拟世界 · 基准测试 · 游戏环境 · LLM评测

An immersive AI adventure platform（沉浸式 AI 冒险平台）