EthanLab 软件开发 · 产品管理 · 科技评测
返回研究笔记

Strata 硬件性能预测公式:GPU、显存、DDR 与 PCIe 如何影响速度

以 15 笔配置、14 台主机创建 IQ3_XXS 的六因子经验公式,分开估算 Prefill、Decode 与耗时,并交代验证误差、实测与假设、适用范围。

Strata 的速度不能只看显卡跑分。本篇整理一套以 15 笔配置、14 台独立主机创建的 v4 经验公式,分别预测输入处理 Prefill 与回答生成 Decode,再换算固定工作量的耗时。这是本次研究创建的预测模型,并非 Strata 官方保证的升级性能。

Strata 系列:模型比较与实测 · 硬件公式与验证 · 升级成本与效益

数据查核:2026 年 10 月 13 日。适用于原版 ISTA IQ3_XXS、单张 NVIDIA 桌机显卡、11~32GB 级别显存,且 RAM/显存没有换页的情境;不直接套用 Swift、其他量化、笔电、多卡或全部专家常驻显存的配置。

六个硬件输入,分开预测两种速度

固定基准是 i7-11700、RTX 5060 Ti 16GB、64GB DDR4-3200 双信道与 PCIe 4.0 x8。沿用 Strata 0.1.41 各九次测试中位数:Prefill 1,666.44、Decode 51.30 tokens/s;名义 32K/4K 提示实际为 31,566/3,562 tokens。新版重测另列于实测文章,不混入这组冻结系数。

x  = (G, Bv, V, C, R, B)
x0 = (11250, 448, 16, 20585, 51.2, 13.8)

P = 1666.44 × exp(Σ βP[i] × ln(x[i]/x0[i]))
D =   51.30 × exp(Σ βD[i] × ln(x[i]/x0[i]))

T = 51200/P + 4096/D
省时% = 100 × (1 − T/110.5682330691711)

P、D 的单位为 tokens/s,T 为秒;省时正值表示更快,负值表示更慢。G 是 PassMark GPU Compute,C 是 CPU Mark 多核;两者采 2026 年 10 月 13 日查核的型号平均,并非每台主机实测跑分。GPU Compute 也不是 G3D Mark、TFLOPS 或 AI TOPS。PassMark 测试方法

v4 六因子与冻结系数
输入及单位 Prefill 指数 βP Decode 指数 βD
GPU Compute G,Ops/Sec 0.7672002634 0.3270955375
显存带宽 Bv,GB/s 0 0.1601723440
显存容量 V,级别以 GiB 近似 1.0812454543 0.7791361997
CPU Mark C 0.0414423243 0
RAM 理论带宽 R,GB/s 0 0.1868414154
RAM→GPU 有效 H2D 带宽 B,GB/s 0.1244549227 0.1342949023

公式在 log 空间做非负 ridge 拟合,正则化 λ=0.3,以本机与作者主机校准,不另乘版本倍率。系数为 0 不代表该硬件没有作用,而是有限且彼此相关的样本未辨识出额外正向作用。各指数不是固定耗时占比,也不能外推成显存无限增加、速度就无限提高。

公式有多准?

验证时每次移除整台主机,用其余主机重新调参与拟合,再预测被移除者;作者被移除时也移除其校准条件。本机是指定基准,不计入持出成绩,因此 Prefill 有 13 组,Decode/耗时有 11 组。24-token 短输出数据以 0.25 权重拟合。

分组持出平均绝对百分比误差(MAPE,越低越好)
方法 Prefill Decode 合成耗时
只用 GPU 跑分+显存容量 21.74% 16.32% 19.85%
v4 六因子 19.81% 8.47% 10.88%

排除 24-token 输出子集后,v4 耗时 MAPE 为 10.28%,但仍含部分 40~121-token 测试。方法选择使用了同一批验证结果,尚无全新盲测集;2080 Ti、OCuLink 5060 Ti 的 Prefill 曾分别高估 93.95%、57.49%,所以平均误差不是个别升级的误差上限。

作者 RTX 5070 的实测校准点为 1,745.16/61.64 tokens/s,合成 95.79 秒、相对基准省时 13.37%。完全排除作者后,公式预测为 1,811.02/57.51,耗时误差+3.87%。前者是校准一致性,后者才是持出检查。作者原始测试数据

PCIe 与 DDR:理论带宽不等于实际搬运速度

PCIe 单向理论带宽与双信道 RAM 理论带宽
规格 带宽
PCIe 4.0 x8 15.75 GB/s
PCIe 4.0 x16 31.51 GB/s
PCIe 5.0 x8 31.51 GB/s
PCIe 5.0 x16 63.02 GB/s
DDR4-3200 双信道 51.2 GB/s
DDR5-5600 双信道 89.6 GB/s
DDR5-6000 双信道 96 GB/s

PCIe 数字已扣编码、未扣封包与 DMA 开销;H2D 还受 RAM 可用带宽、控制器与同时负载限制。本机 13.8GB/s 是实测值;数据缺漏主机补入的 DDR5 双信道与 H2D 50GB/s 等是假设。尤其作者 RAM 信道未确认,不能将其 83.2GB/s 与 H2D 50GB/s 当成实测。PCI-SIG 带宽数据

5060 Ti 原生为 x8;换 Gen5 平台最多是 5.0 x8。换成 x16 显卡时,链路也可能一起变宽,不能重复加算「换卡」与「PCIe 升级」收益。更快 H2D 还可能改变 Strata 的 CPU/GPU 分工。5060 Ti 规格、分工原代码

显存容量、命中率与 RAM 容量要分开看

专家缓存空间=总显存扣除桌面、其他程序、共享权重、KV、工作空间与预留。本机 16GB 卡的专家缓存实测约 7.91GiB;若其他占用不变,12GB 卡只剩约 3.9GiB。这是容量试算,并非速度减半,而且热门专家分布不平均,不能用缓存容量比例代替命中率。

部分统计的 reported hit rate 排除了 PCIe offload。若 H 是该命中率、x 是全部路由中的 offload 比例,应拆成 GPU 常驻=(1−x)H、CPU=(1−x)(1−H)、PCIe 分派=x。5080 某次报告 H=0.981、x=0.401,实际常驻路由比例约 58.8%,不是 98.1%。5080 原始纪录

RAM 容量不直接乘入速度公式。本机专家已常驻 RAM;若没有内存压力,其他条件相同,64GB 升 128GB 的直接加速可接近零。增加容量的价值是容纳更大模型、更多程序及避免 SSD 换页。显存若超额使用也可能大幅变慢,因此不能只追求填满缓存。RAM 放置模式、显存预留实测

使用前要知道的限制

  • 51,200 输入+4,096 输出是统一换算情境。沿用 32K Prefill/4K Decode 速率,不是完整 Coding Agent 任务实测;不包含加载、排队、工具运行或压缩,较长上下文的实际生成速率也可能改变。
  • 提示词也会影响 Decode。MTP 每轮有效产出受草稿接受率影响;作者约 3.19 tokens/轮,本机样本约 2.13,跨机差异不能全部归因硬件。
  • 缺漏字段会改变结果。替换作者 H2D 假设,升级省时点估最多移动 3.60 个百分点;连 RAM 信道假设一起改,最多 7.42 个百分点。这是敏感性试算,不是信赖区间。
  • 平均准确不等于通用。48GB 全专家常驻改装卡与 Laptop 的范围外耗时误差约 −34.47%/+51.09%,不应套用桌机回归公式。

这套公式适合排列待验证的升级方向。要确认实际收益,仍应优先做同机 A/B,固定模型、提示、采样与 MTP,量测 H2D、缓存路由、CPU/GPU 重叠,以及每轮真正产生的 tokens。Strata 社群测试方法与数据

留言讨论

留下你的想法

你的电子邮件不会公开。