Inferock

定位与差异

Infrock Bench 是一款面向 LLM API 调用场景的本地代理工具。它在应用程序与大模型服务（如 OpenAI、Anthropic、Gemini、OpenRouter 等 OpenAI 兼容接口）之间充当中间层，所有请求先经过它再转发到上游服务。

与常规 API 网关或简单代理不同，Infrock Bench 的关注点是成本可观测性：它在不修改业务代码的前提下，记录每一次调用的 token 消耗、失败与重试情况，并在事后生成一份“账单”，帮助用户核对实际计费与预期开销之间的差异，识别多付的费用。

核心能力

• 本地代理转发：将应用发出的请求按目标服务商路由，兼容 OpenAI 接口形态的上游。
• 调用记录与统计：捕获输入/输出 token 数、失败原因以及重试次数等关键指标。
• 账单对账：聚合调用日志生成收据，呈现按模型、按时间或按服务的费用构成。
• 成本异常提示：通过对比实际账单与官方价目，提示可能被多计的费用。

适用与不适用

适合多模型混用、需要做成本核算或希望减少“隐性账单”的团队，尤其是同时接入多家 LLM 服务、按 token 计费的个人开发者与小型产品。

不适用于仅使用单一模型、无需成本审计，或完全离线部署的场景；如果仅需要请求缓存、限流等通用网关能力，也应评估是否需要更通用的 API 网关替代方案。

上手提示

建议先在本地以 Docker 或源码方式部署代理，把上游 API 地址指向 Infrock Bench，再在原应用中将 Base URL 改为本地代理地址。运行一段时间后，查看生成的收据与上游账单进行核对；具体配置项和参数以官网仓库说明为准。