近日，开源 AI 网关项目 LiteLLM 在 GitHub 上发布更新，推出号称最快、最轻量的 AI Gateway。该项目采用 Rust 作为核心引擎，同时提供 Python SDK，旨在为开发者提供统一的大模型调用入口。用户可通过 OpenAI 格式或原生格式，访问超过 100 种 LLM API，覆盖 Bedrock、Azure、OpenAI、Anthropic、VertexAI、vLLM 以及 Nvidia NIM 等主流平台。

LiteLLM 定位为开源、可自托管且面向企业级场景的 AI 网关。其核心能力包括成本追踪、防护栏（guardrails）、负载均衡和日志记录，帮助团队在多模型环境中实现精细化治理。项目同时提供代理服务器（Proxy Server）形态，并设有托管代理与企业版选项，满足不同规模组织的部署需求。

从技术架构看，Rust 核心的引入有望提升网关的吞吐与并发处理能力，而 Python SDK 则降低了现有 Python 生态用户的接入成本。开发者无需为每个模型供应商单独适配接口，即可在统一抽象层上完成调用、监控与策略配置。

目前，LiteLLM 已通过文档站点提供详细接入指南。对于需要同时管理多个大模型服务的 AI 团队而言，该项目的开源属性与多平台兼容性，使其成为值得关注的网关方案之一。