vllm-server
编程协作
部署和管理vLLM以实现高吞吐量的LLM推理。配置连续批处理、张量并行、量化以及与OpenAI兼容的API端点,用于生产环境中的LLM服务。 --- 构建以AI
用自然语言找工具、提示词、技能、MCP 与工作流。
已理解:
共 0 条
编程协作 · Agent 技能
GGUF格式和llama.cpp量化用于高效的CPU/GPU推理。在将模型部署到消费级硬件、Apple Silicon上,或需要2-8位灵活量化且无需GPU要求
编程协作
当用户要求“搜索论文”、“查找研究论文”、“搜索arXiv”、“搜索PubMed”、“查找学术论文”、“搜索IEEE”、“搜索Scopus”或“查阅科学文献”时