vllm-server
编程协作
部署和管理vLLM以实现高吞吐量的LLM推理。配置连续批处理、张量并行、量化以及与OpenAI兼容的API端点,用于生产环境中的LLM服务。 --- 构建以AI
用自然语言找工具、提示词、技能、MCP 与工作流。
已理解:
共 0 条
编程协作
Generate a high-quality deep-reading note for a single paper and write it into a
编程协作
当用户要求“搜索论文”、“查找研究论文”、“搜索arXiv”、“搜索PubMed”、“查找学术论文”、“搜索IEEE”、“搜索Scopus”或“查阅科学文献”时