近期本地大语言模型相关进展整理汇总

最近本地大语言模型相关的发展太混乱了，这是我给自己整理的笔记📝 ※这里面掺杂了我自己测试后的感想，不提供客观证据和判断依据，感兴趣的话请自己亲自测试哦！🫵

■ Strata
- 专为 Qwen3.8 Flash Next 打造的推理引擎
- 通过将 MoE 的专家分散部署在 GPU VRAM 和 RAM 上，结合 Speculative Decoding 等技术实现加速
- 在充足硬件环境下当然可以高速运行，更值得关注的是如果你的 VRAM 有 8GB，搭配 64GB RAM 就能获得足够实用的运行速度（官方推荐配置为 VRAM 12GB 以上）

- 终于，兼顾精度和速度的本地智能体能够在普通家庭（不是那种特殊配置家庭）运行起来了
- 我的 5090、5070、2070 都能流畅运行，体验很不错😄

■ Project Maya
- 专为 GLM 5.3 Flash（321B MoE）打造的推理引擎
- 基于 Strata 大幅修改，适配 GLM 的项目
- 通过将专家分层部署在 GPU VRAM、RAM、NVMe SSD 上，让原本需要大体积 VRAM 的模型也能在消费级 GPU 上运行

- 因为模型本身比 Strata 处理的 Qwen3.8 Flash Next 更大，所以要求的配置更高、速度也更慢，但能让 GLM 在 RTX3090 上运行，这个影响还是很大的🧐

■ Qwen Image 2.1 Turbo
- 图像生成/编辑模型 Qwen Image 2.1 的 8 步版本 checkpoint（不是 LoRA，是模型本体）
- 这是一个 7B 的图像生成模型，就算步数少也能生成、编辑出高质量图像

- 有望成为本地图像生成模型的新主流
- 在我的 RTX5090 上生成一张图只需要大约 4 秒😮

■ pentacoxian-dev/iris-3b-turbo-lora
- 图像生成/编辑模型 speridlabs/iris-3b 的 4 步 turbo LoRA
- 基底模型 Iris-3B 是不使用 VAE、直接在像素空间生成图像的 3B Diffusion Transformer

- 有望成为本地图像生成模型的新主流（第二次说）
- 在我的 RTX5090 上生成一张图只需要大约 0.9 秒（！）🤯

～以下是持续关注项目🧐～

■ agentionai/Qwen3.8-Flash-Next-Gyro-GGUF
- 针对 Strata 处理的 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF 的 1bit、2bit 量化模型存在的精度问题，以维持精度为目的开发的采用另一种量化方式的 Gyro 量化模型
- 通过独特的“在旋转基底下对权重进行量化”的方式，试图抑制低比特量化带来的精度下降

- 确实内存占用小，运行速度快，但编码生成的结果有时候质量不高，所以现在就让人抛弃 Strata 主分支换用这个专用模型/专用分支，大家还是会比较犹豫
- 很期待它的未来发展😀

■ mirai-s-ada
- 基于 Qwen3.8 27B 的自定义模型 Mirai S 27B 以及它的专用推理引擎
- 特点是就算只用 12GB VRAM 也能运行的省内存配置

- 宣传说在 12GB VRAM 下 decode 能达到 70tok/s，我实测在我的 5090 上确实也差不多是这个速度
- 但编码生成的结果有时候质量不高，所以现在就让人替换 Flash Next（也就是 Strata）换用它，大家还是会比较犹豫，如果就是想要运行 27B 模型的话，它是不错的选择😀

■ TensorFold
- 为了高速运行 Qwen、GLM、Nemotron 等模型开发的 Zig 语言编写的原生推理引擎
- 支持 Apple Metal / NVIDIA CUDA，不依赖 Python 就能运行推理

- 除了通过 Speculative Decoding 实现加速，它的设计特点还注重和普通逐次生成的输出保持一致
- 还搭载了一个实验性功能“Living Weights”，可以让运行中的模型学习新知识并保存到权重里
- 看起来很厉害😀（我还没试过）

…如果还有其他不错的本地大语言模型相关信息，欢迎告诉我，我大概已经跟不上节奏了😂

啊，对了还有 Embedding Gemma _(:3」∠)_