🦊 MCPBench 是一个面向 MCP 服务器的评测基准,通过统一的搜索与查询测试用例,对不同 MCP 服务的响应质量、检索准确度和性能表现进行横向打分,帮助开发者在选型和优化阶段快速对比各个服务器的能力差异。
能接什么
- 接入任意兼容 MCP 协议的服务器,对外暴露的搜索、查询类工具进行批量调用测试。
- 对接主流 LLM 客户端或评测框架,把 MCPBench 作为标准化打分插件嵌入 CI/回归流程。
- 对接自定义测试集,开发者可在通用基准基础上补充垂直场景用例。
是否需要密钥
运行 MCPBench 本身进行基准测试无需额外密钥,但若要评测那些依赖外部 API 的 MCP 服务器,则需要在被测服务侧配置相应的 API Key(如搜索、数据库等服务的访问凭证)。MCPBench 不会存储或代理这些密钥,仅在评测时透传调用。