EthanLab 軟體開發 · 產品管理 · 科技評測
返回研究筆記

Strata 硬體效能預測公式:GPU、顯存、DDR 與 PCIe 如何影響速度

以 15 筆配置、14 台主機建立 IQ3_XXS 的六因子經驗公式,分開估算 Prefill、Decode 與耗時,並交代驗證誤差、實測與假設、適用範圍。

Strata 的速度不能只看顯卡跑分。本篇整理一套以 15 筆配置、14 台獨立主機建立的 v4 經驗公式,分別預測輸入處理 Prefill 與回答生成 Decode,再換算固定工作量的耗時。這是本次研究建立的預測模型,並非 Strata 官方保證的升級效能。

Strata 系列:模型比較與實測 · 硬體公式與驗證 · 升級成本與效益

資料查核:2026 年 10 月 13 日。適用於原版 ISTA IQ3_XXS、單張 NVIDIA 桌機顯卡、11~32GB 級別顯存,且 RAM/顯存沒有換頁的情境;不直接套用 Swift、其他量化、筆電、多卡或全部專家常駐顯存的配置。

六個硬體輸入,分開預測兩種速度

固定基準是 i7-11700、RTX 5060 Ti 16GB、64GB DDR4-3200 雙通道與 PCIe 4.0 x8。沿用 Strata 0.1.41 各九次測試中位數:Prefill 1,666.44、Decode 51.30 tokens/s;名義 32K/4K 提示實際為 31,566/3,562 tokens。新版重測另列於實測文章,不混入這組凍結係數。

x  = (G, Bv, V, C, R, B)
x0 = (11250, 448, 16, 20585, 51.2, 13.8)

P = 1666.44 × exp(Σ βP[i] × ln(x[i]/x0[i]))
D =   51.30 × exp(Σ βD[i] × ln(x[i]/x0[i]))

T = 51200/P + 4096/D
省時% = 100 × (1 − T/110.5682330691711)

P、D 的單位為 tokens/s,T 為秒;省時正值表示更快,負值表示更慢。G 是 PassMark GPU Compute,C 是 CPU Mark 多核;兩者採 2026 年 10 月 13 日查核的型號平均,並非每台主機實測跑分。GPU Compute 也不是 G3D Mark、TFLOPS 或 AI TOPS。PassMark 測試方法

v4 六因子與凍結係數
輸入及單位 Prefill 指數 βP Decode 指數 βD
GPU Compute G,Ops/Sec 0.7672002634 0.3270955375
顯存頻寬 Bv,GB/s 0 0.1601723440
顯存容量 V,級別以 GiB 近似 1.0812454543 0.7791361997
CPU Mark C 0.0414423243 0
RAM 理論頻寬 R,GB/s 0 0.1868414154
RAM→GPU 有效 H2D 頻寬 B,GB/s 0.1244549227 0.1342949023

公式在 log 空間做非負 ridge 擬合,正則化 λ=0.3,以本機與作者主機校準,不另乘版本倍率。係數為 0 不代表該硬體沒有作用,而是有限且彼此相關的樣本未辨識出額外正向作用。各指數不是固定耗時占比,也不能外推成顯存無限增加、速度就無限提高。

公式有多準?

驗證時每次移除整台主機,用其餘主機重新調參與擬合,再預測被移除者;作者被移除時也移除其校準條件。本機是指定基準,不計入持出成績,因此 Prefill 有 13 組,Decode/耗時有 11 組。24-token 短輸出資料以 0.25 權重擬合。

分組持出平均絕對百分比誤差(MAPE,越低越好)
方法 Prefill Decode 合成耗時
只用 GPU 跑分+顯存容量 21.74% 16.32% 19.85%
v4 六因子 19.81% 8.47% 10.88%

排除 24-token 輸出子集後,v4 耗時 MAPE 為 10.28%,但仍含部分 40~121-token 測試。方法選擇使用了同一批驗證結果,尚無全新盲測集;2080 Ti、OCuLink 5060 Ti 的 Prefill 曾分別高估 93.95%、57.49%,所以平均誤差不是個別升級的誤差上限。

作者 RTX 5070 的實測校準點為 1,745.16/61.64 tokens/s,合成 95.79 秒、相對基準省時 13.37%。完全排除作者後,公式預測為 1,811.02/57.51,耗時誤差+3.87%。前者是校準一致性,後者才是持出檢查。作者原始測試資料

PCIe 與 DDR:理論頻寬不等於實際搬運速度

PCIe 單向理論頻寬與雙通道 RAM 理論頻寬
規格 頻寬
PCIe 4.0 x8 15.75 GB/s
PCIe 4.0 x16 31.51 GB/s
PCIe 5.0 x8 31.51 GB/s
PCIe 5.0 x16 63.02 GB/s
DDR4-3200 雙通道 51.2 GB/s
DDR5-5600 雙通道 89.6 GB/s
DDR5-6000 雙通道 96 GB/s

PCIe 數字已扣編碼、未扣封包與 DMA 開銷;H2D 還受 RAM 可用頻寬、控制器與同時負載限制。本機 13.8GB/s 是實測值;資料缺漏主機補入的 DDR5 雙通道與 H2D 50GB/s 等是假設。尤其作者 RAM 通道未確認,不能將其 83.2GB/s 與 H2D 50GB/s 當成實測。PCI-SIG 頻寬資料

5060 Ti 原生為 x8;換 Gen5 平台最多是 5.0 x8。換成 x16 顯卡時,鏈路也可能一起變寬,不能重複加算「換卡」與「PCIe 升級」收益。更快 H2D 還可能改變 Strata 的 CPU/GPU 分工。5060 Ti 規格、分工原始碼

顯存容量、命中率與 RAM 容量要分開看

專家快取空間=總顯存扣除桌面、其他程式、共享權重、KV、工作空間與預留。本機 16GB 卡的專家快取實測約 7.91GiB;若其他占用不變,12GB 卡只剩約 3.9GiB。這是容量試算,並非速度減半,而且熱門專家分布不平均,不能用快取容量比例代替命中率。

部分統計的 reported hit rate 排除了 PCIe offload。若 H 是該命中率、x 是全部路由中的 offload 比例,應拆成 GPU 常駐=(1−x)H、CPU=(1−x)(1−H)、PCIe 分派=x。5080 某次報告 H=0.981、x=0.401,實際常駐路由比例約 58.8%,不是 98.1%。5080 原始紀錄

RAM 容量不直接乘入速度公式。本機專家已常駐 RAM;若沒有記憶體壓力,其他條件相同,64GB 升 128GB 的直接加速可接近零。增加容量的價值是容納更大模型、更多程式及避免 SSD 換頁。顯存若超額使用也可能大幅變慢,因此不能只追求填滿快取。RAM 放置模式、顯存預留實測

使用前要知道的限制

  • 51,200 輸入+4,096 輸出是統一換算情境。沿用 32K Prefill/4K Decode 速率,不是完整 Coding Agent 任務實測;不包含載入、排隊、工具執行或壓縮,較長上下文的實際生成速率也可能改變。
  • 提示詞也會影響 Decode。MTP 每輪有效產出受草稿接受率影響;作者約 3.19 tokens/輪,本機樣本約 2.13,跨機差異不能全部歸因硬體。
  • 缺漏欄位會改變結果。替換作者 H2D 假設,升級省時點估最多移動 3.60 個百分點;連 RAM 通道假設一起改,最多 7.42 個百分點。這是敏感性試算,不是信賴區間。
  • 平均準確不等於通用。48GB 全專家常駐改裝卡與 Laptop 的範圍外耗時誤差約 −34.47%/+51.09%,不應套用桌機回歸公式。

這套公式適合排列待驗證的升級方向。要確認實際收益,仍應優先做同機 A/B,固定模型、提示、採樣與 MTP,量測 H2D、快取路由、CPU/GPU 重疊,以及每輪真正產生的 tokens。Strata 社群測試方法與資料

留言討論

留下你的想法

你的電子郵件不會公開。