项目 ◆ 沧海遗珠
lmdeploy
InternLM/lmdeploy · Python · Apache-2.0
用 4-bit 权重量化 + 快速 gRPC，给 LLM/VLM 推理提效。
LMDeploy 将 TurboMind 推理后端与权重量化、连续批处理、OpenAI 兼容服务结合，在单张消费级显卡上追求高吞吐。
71 / 100 · 评分
★ 8.1k Star 数
+5 30 天增长
15 分钟 首次运行耗时
无需 API Key
评分
趋势 28
活跃 88
质量 100
社区 68
相关 63
上手成本一览
部署方式Pip, Docker
GPU8 GB
API Key无需
界面语言en, zh
文档语言en, zh
安装命令
pip install lmdeploy 深度解读
LMDeploy 是 InternLM 推出的 LLM/VLM 部署工具箱，核心是 TurboMind 推理引擎（可选 PyTorch 后端）。它把 KV 缓存量化到 int8/int4、权重量化到 int4（AWQ）——正是这套组合让大模型能跑在 modest 显卡上。
它是一整套服务栈：OpenAI 兼容的 API 服务器、CLI 聊天客户端和推理基准测试工具。其 TurboMind 混合精度加速工作已发表（EuroSys 2027）并挂在 arXiv。
硬件覆盖从 V100 起的 NVIDIA GPU（TurboMind MXFP4）与华为昇腾 NPU，支持模型矩阵涵盖 Qwen、InternVL 及更广泛的开源模型阵容。
适用场景
给小模型自托管一个高速对话端点
省显存、加速多人推理
上线前对本地模型做基准测试
适合 / 不太适合
适合
单张 16/24G 显卡的自托管用户
对比不同推理后端的团队
中文生态部署（中文文档一流）
不太适合
纯 CPU 推理
只想用最简单的一键本地 UI