05 | Deployment¶

1. Local Deployment¶

vLLM¶

vLLM 是一个高性能的大语言模型推理和服务框架，专注于解决大模型推理过程中的性能瓶颈问题。

主要特性： - 高效的批处理机制 - 显存优化技术 - 分布式推理支持 - 适合高并发和长序列输入场景

适用场景： - 生产环境部署 - 高并发推理服务 - 大规模模型推理

SGLang¶

SGLang 是一个用于构建和优化大语言模型应用的框架。

主要特性： - 结构化生成语言 - 高效的推理优化 - 灵活的模型集成

TensorRT-LLM¶

概述 — TensorRT-LLM

2. Demo Deployment¶

3. Server Deployment¶

4. Edge Deployment¶

日志管理 ¶

Loki¶

Loki 是一个日志聚合系统，专为云原生环境设计。

主要功能： - 日志收集 - 日志查询 - 标签索引 - 与 Grafana 集成

Alloy¶

Alloy 是一个现代化的日志处理系统。

主要功能： - 日志解析 - 数据转换 - 实时处理 - 高性能

基础设施管理 ¶

Terraform¶

Terraform 是一个基础设施即代码工具。

主要功能： - 基础设施自动化 - 多云支持 - 版本控制 - 状态管理

Minikube¶

Minikube 是一个本地 Kubernetes 集群工具。

主要功能： - 本地 K8s 环境 - 开发测试 - 快速部署 - 资源管理