AI 工具库

LC

LangChain

文本 · LLM框架 · 代理 · RAG · 链式调用 · Python · TypeScript

文本 · LLM框架 · 代理 · RAG · 链式调用 · Python · TypeScript

用于构建大模型应用编排框架，提供工具调用、检索增强和 Agent 抽象，简化复杂应用开发。

VL

vLLM

文本 · LLM推理 · 高吞吐 · 部署 · 开源 · vLLM

文本 · LLM推理 · 高吞吐 · 部署 · 开源 · vLLM

面向大模型推理的高吞吐服务框架，通过 PagedAttention 等技术优化显存占用与并发性能。