tokenspeed

TokenSpeed 是一个高性能的LLM推理引擎，专为代理工作负载设计。它结合了TensorRT-LLM级别的性能和vLLM级别的易用性，旨在成为生产环境中最高效的推理引擎。TokenSpeed的核心组件包括建模层、调度器、内核和入口点。建模层采用本地SPMD设计，通过静态编译器生成集体通信；调度器使用C++控制平面和Python执行平面；内核系统是可插拔的，并且有一个集中的注册表；入口点则集成了SMG以实现低开销的CPU侧请求处理。