Strata 的速度不能只看显卡跑分。本篇整理一套以 15 笔配置、14 台独立主机创建的 v4 经验公式,分别预测输入处理 Prefill 与回答生成 Decode,再换算固定工作量的耗时。这是本次研究创建的预测模型,并非 Strata 官方保证的升级性能。
Strata 系列:模型比较与实测 · 硬件公式与验证 · 升级成本与效益
数据查核:2026 年 10 月 13 日。适用于原版 ISTA IQ3_XXS、单张 NVIDIA 桌机显卡、11~32GB 级别显存,且 RAM/显存没有换页的情境;不直接套用 Swift、其他量化、笔电、多卡或全部专家常驻显存的配置。
六个硬件输入,分开预测两种速度
固定基准是 i7-11700、RTX 5060 Ti 16GB、64GB DDR4-3200 双信道与 PCIe 4.0 x8。沿用 Strata 0.1.41 各九次测试中位数:Prefill 1,666.44、Decode 51.30 tokens/s;名义 32K/4K 提示实际为 31,566/3,562 tokens。新版重测另列于实测文章,不混入这组冻结系数。
x = (G, Bv, V, C, R, B)
x0 = (11250, 448, 16, 20585, 51.2, 13.8)
P = 1666.44 × exp(Σ βP[i] × ln(x[i]/x0[i]))
D = 51.30 × exp(Σ βD[i] × ln(x[i]/x0[i]))
T = 51200/P + 4096/D
省时% = 100 × (1 − T/110.5682330691711)
P、D 的单位为 tokens/s,T 为秒;省时正值表示更快,负值表示更慢。G 是 PassMark GPU Compute,C 是 CPU Mark 多核;两者采 2026 年 10 月 13 日查核的型号平均,并非每台主机实测跑分。GPU Compute 也不是 G3D Mark、TFLOPS 或 AI TOPS。PassMark 测试方法
| 输入及单位 | Prefill 指数 βP | Decode 指数 βD |
|---|---|---|
| GPU Compute G,Ops/Sec | 0.7672002634 | 0.3270955375 |
| 显存带宽 Bv,GB/s | 0 | 0.1601723440 |
| 显存容量 V,级别以 GiB 近似 | 1.0812454543 | 0.7791361997 |
| CPU Mark C | 0.0414423243 | 0 |
| RAM 理论带宽 R,GB/s | 0 | 0.1868414154 |
| RAM→GPU 有效 H2D 带宽 B,GB/s | 0.1244549227 | 0.1342949023 |
公式在 log 空间做非负 ridge 拟合,正则化 λ=0.3,以本机与作者主机校准,不另乘版本倍率。系数为 0 不代表该硬件没有作用,而是有限且彼此相关的样本未辨识出额外正向作用。各指数不是固定耗时占比,也不能外推成显存无限增加、速度就无限提高。
公式有多准?
验证时每次移除整台主机,用其余主机重新调参与拟合,再预测被移除者;作者被移除时也移除其校准条件。本机是指定基准,不计入持出成绩,因此 Prefill 有 13 组,Decode/耗时有 11 组。24-token 短输出数据以 0.25 权重拟合。
| 方法 | Prefill | Decode | 合成耗时 |
|---|---|---|---|
| 只用 GPU 跑分+显存容量 | 21.74% | 16.32% | 19.85% |
| v4 六因子 | 19.81% | 8.47% | 10.88% |
排除 24-token 输出子集后,v4 耗时 MAPE 为 10.28%,但仍含部分 40~121-token 测试。方法选择使用了同一批验证结果,尚无全新盲测集;2080 Ti、OCuLink 5060 Ti 的 Prefill 曾分别高估 93.95%、57.49%,所以平均误差不是个别升级的误差上限。
作者 RTX 5070 的实测校准点为 1,745.16/61.64 tokens/s,合成 95.79 秒、相对基准省时 13.37%。完全排除作者后,公式预测为 1,811.02/57.51,耗时误差+3.87%。前者是校准一致性,后者才是持出检查。作者原始测试数据
PCIe 与 DDR:理论带宽不等于实际搬运速度
| 规格 | 带宽 |
|---|---|
| PCIe 4.0 x8 | 15.75 GB/s |
| PCIe 4.0 x16 | 31.51 GB/s |
| PCIe 5.0 x8 | 31.51 GB/s |
| PCIe 5.0 x16 | 63.02 GB/s |
| DDR4-3200 双信道 | 51.2 GB/s |
| DDR5-5600 双信道 | 89.6 GB/s |
| DDR5-6000 双信道 | 96 GB/s |
PCIe 数字已扣编码、未扣封包与 DMA 开销;H2D 还受 RAM 可用带宽、控制器与同时负载限制。本机 13.8GB/s 是实测值;数据缺漏主机补入的 DDR5 双信道与 H2D 50GB/s 等是假设。尤其作者 RAM 信道未确认,不能将其 83.2GB/s 与 H2D 50GB/s 当成实测。PCI-SIG 带宽数据
5060 Ti 原生为 x8;换 Gen5 平台最多是 5.0 x8。换成 x16 显卡时,链路也可能一起变宽,不能重复加算「换卡」与「PCIe 升级」收益。更快 H2D 还可能改变 Strata 的 CPU/GPU 分工。5060 Ti 规格、分工原代码
显存容量、命中率与 RAM 容量要分开看
专家缓存空间=总显存扣除桌面、其他程序、共享权重、KV、工作空间与预留。本机 16GB 卡的专家缓存实测约 7.91GiB;若其他占用不变,12GB 卡只剩约 3.9GiB。这是容量试算,并非速度减半,而且热门专家分布不平均,不能用缓存容量比例代替命中率。
部分统计的 reported hit rate 排除了 PCIe offload。若 H 是该命中率、x 是全部路由中的 offload 比例,应拆成 GPU 常驻=(1−x)H、CPU=(1−x)(1−H)、PCIe 分派=x。5080 某次报告 H=0.981、x=0.401,实际常驻路由比例约 58.8%,不是 98.1%。5080 原始纪录
RAM 容量不直接乘入速度公式。本机专家已常驻 RAM;若没有内存压力,其他条件相同,64GB 升 128GB 的直接加速可接近零。增加容量的价值是容纳更大模型、更多程序及避免 SSD 换页。显存若超额使用也可能大幅变慢,因此不能只追求填满缓存。RAM 放置模式、显存预留实测
使用前要知道的限制
- 51,200 输入+4,096 输出是统一换算情境。沿用 32K Prefill/4K Decode 速率,不是完整 Coding Agent 任务实测;不包含加载、排队、工具运行或压缩,较长上下文的实际生成速率也可能改变。
- 提示词也会影响 Decode。MTP 每轮有效产出受草稿接受率影响;作者约 3.19 tokens/轮,本机样本约 2.13,跨机差异不能全部归因硬件。
- 缺漏字段会改变结果。替换作者 H2D 假设,升级省时点估最多移动 3.60 个百分点;连 RAM 信道假设一起改,最多 7.42 个百分点。这是敏感性试算,不是信赖区间。
- 平均准确不等于通用。48GB 全专家常驻改装卡与 Laptop 的范围外耗时误差约 −34.47%/+51.09%,不应套用桌机回归公式。
这套公式适合排列待验证的升级方向。要确认实际收益,仍应优先做同机 A/B,固定模型、提示、采样与 MTP,量测 H2D、缓存路由、CPU/GPU 重叠,以及每轮真正产生的 tokens。Strata 社群测试方法与数据

留言讨论