模型支持情况¶
随着 AI Lab 的快速迭代，我们已经支持了多种模型的推理服务，您可以在这里看到所支持的模型信息。
- AI Lab v0.3.0 上线了模型推理服务，针对传统的深度学习模型，方便用户可以直接使用AI Lab 的推理服务，无需关心模型的部署和维护。
- AI Lab v0.6.0 支持了完整版本的 vLLM 推理能力，支持诸多大语言模型，如
LLama、Qwen、ChatGLM等。
Note
推理能力的支持与 AI Lab 的版本有关，请查阅 Release Notes 了解最新版本并及时更新。
您可以在 AI Lab 中使用经过 DCE 5.0 验证过的 GPU 类型； 更多细节参阅 GPU 支持矩阵。
Triton Inference Server¶
通过 Triton Inference Server 可以很好的支持传统的深度学习模型，我们目前支持主流的推理后端服务：
| Backend | 支持模型格式 | 介绍 |
|---|---|---|
| pytorch | TorchScript、PyTorch 2.0 格式的模型 | triton-inference-server/pytorch_backend |
| tensorflow | TensorFlow 2.x | triton-inference-server/tensorflow_backend |
| vLLM(Deprecated) | 与 vLLM 一致 | 支持的模型和 vLLM support Model 一致 |
Danger
使用 Triton 的 Backend vLLM 的方式已被弃用，推荐使用最新支持 vLLM 来部署您的大语言模型。
vLLM¶
通过 vLLM 我们可以很快的使用大语言模型，您可以在这里看到我们支持的模型列表，这通常和 vLLM Support Models 保持一致。
- HuggingFace 模型：我们支持了 HuggingFace 的大部分模型，您可以在 HuggingFace Model Hub 查看更多模型。
- vLLM 支持模型列出了支持的大语言模型和视觉语言模型。
- 使用 vLLM 支持框架的模型进行微调后的模型。
vLLM 新特性¶
目前，AI Lab 还支持在使用 vLLM 作为推理工具时的一些新特性：
- 在推理模型时，启用
Lora Adapter来优化模型推理服务 - 提供兼容
OpenAI的OpenAPI接口，方便用户切换到本地推理服务时，可以低成本的快速切换