英特尔今日正式发布 Intel Inference Microservices，一套面向大语言模型推理的容器化微服务方案。该方案的核心思路是让企业直接在现有至强处理器上获得经过调优的模型推理能力，从而省去以往需要耗费数天的手动硬件优化过程。

根据英特尔公布的信息，每个微服务以独立容器形式运行，通过 OpenAI 兼容 API 对外提供单个模型的服务。容器在启动时会自动检测所在主机的英特尔处理器型号，并应用英特尔针对该模型与硬件组合预先验证过的配置参数。英特尔方面表示，让大语言模型生成回复本身并不困难，真正的挑战在于在既有硬件上稳定、高质量地重复这一过程。

调优的复杂性来自多个层面：精度设置、计算任务在核心之间的分配方式、内存跨 NUMA 节点的布局，以及推理引擎所选用的指令集，均取决于模型本身和底层处理器。更换模型，合适参数随之改变；迁移到另一代芯片，参数又需重新调整。英特尔推理微服务试图将这一调优过程封装在容器内部，用户只需选择模型，容器负责选择设置。

首批版本基于 vLLM 引擎，支持 BF16 精度，可在 Docker 或 Kubernetes 1.24 及以上环境中运行。硬件方面要求第四代、第五代或第六代英特尔至强处理器，建议配置 32GB 内存。容器启动时会检查主机的处理器代数、分配到的核心数量、NUMA 节点数量以及处理器内置的加速器。英特尔特别强调了最后一项：近期至强核心内置了专门用于推理计算的引擎。