首页
教程
IT编程
国外技术
登录
标签
vLLM源码学习
vLLM源码学习
vLLM v1vLLM从v0.6.0开始,为了解决功能碎片化、模块之间耦合严重、技术债等问题,并行开发了v1。v1不仅解决了上述问题,还提升了推理性能,让CPU调度开销更小。下图是v1的类图,展示了从用户输入到模型推理的过程。vLLM类图主
vLLM源码学习
admin
8小时前
6
0