Documentation Crawler & MCP Server 是一款把整站文档"爬下来就能用"的 MCP 服务:它会按链接深度抓取目标网站,把页面清洗、切片、向量化后存入本地知识库,再以 MCP 协议暴露给 AI 客户端,模型可直接调用工具进行语义搜索与问答。
它能接什么
- AI 客户端:Claude Desktop、Cursor、Cline、ChatGPT(支持 MCP 的应用均可直连)。
- 数据源:任意公开网站、文档站、博客、Confluence / Notion 导出页、技术 wiki 等。
- 存储后端:本地 SQLite / 文件系统,也兼容主流向量库(如 Chroma、Qdrant)。
是否需要密钥
- 爬取公开页面:无需任何 Key,开箱即用。
- 爬取需登录的站点:需在配置中提供 Cookie 或站点自身的账号信息(非 AI 模型 API Key)。
- 如想用更强的嵌入模型(如 OpenAI / Cohere)做向量化,则需对应提供该模型的 API Key;纯本地模型路线则完全离线可用。
一句话总结:给它一个网址,就能让本地知识库秒变 AI 可读的智能文档助手。