基于RTX 5090改造优化大语言模型GLM实现速度提升

【 无审核GLM用RTX加速 -Part② 】 ～Prefill 580 t/s 14倍 Decode 32 t/s 3.5倍～

GLM5.3-Flash（157GB）不支持Strata。所以我们在Windows环境下对Strata进行了改造和加速🌱

■ 配置
・RTX 5090（32GB）＋DDR5（128GB）＋NVMe SSD
・Huihui-GLM-5.3-Flash-abliterated-UD-IQ4_XS（157GB）CTX 262K

■ Prefill（4,400 tokens）
・llama.cpp：42.3 t/s
・Strata GLM：580 t/s 约14倍加速

■ Decode
・llama.cpp：9.4 t/s
・Strata GLM：32.64 t/s 约3.5倍加速

■ 157GB的模型是如何分配的？
【VRAM：32GB】
・Attention等：13.5GB
・常用专家：15.5GB

【RAM：128GB】
・专家权重：固定分配105GB

【NVMe SSD】
・剩余专家：约23GB（约14％）
仅在需要时直接读取，并根据使用频率调整分配。

■ Prefill中效果最好的三项改造
① MoE专家计算改为适配Tensor Core（MMQ） → 提升250%
② 共享专家、Dense层也改为MMQ，路由处理整合到cuBLAS → 提升46%
③ SSD预读取、索引批量处理、Attention适配Tensor Core等 → 提升26%

■ Decode中效果最好的三项改造
① 跳过路径权重低于10%的专家 → 提升30%
② SSD读取与计算并行处理 → 提升9%
③ CPU侧专家计算活用VNNI指令 → 提升6%

本次加速是对不支持GLM的Strata进行改造，在157GB模型、Windows环境下完成的优化。

无论成功还是失败的部分，我们都全部整合，改造后的代码已经在GitHub公开。虽然本次测试用的是5090，但我们也确认了3060可以单独运行，感兴趣的话可以试试看👇