Hugging Face 让 vLLM 的 transformers 建模后端达到原生速度

Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已追平甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 重写源码，在运行时动态应用推理相关的层融合，从而匹配自定义实现的性能，并可与张量并行、数据并行、专家并行等常规配置组合。