Strata 的速度不能只看顯卡跑分。本篇整理一套以 15 筆配置、14 台獨立主機建立的 v4 經驗公式,分別預測輸入處理 Prefill 與回答生成 Decode,再換算固定工作量的耗時。這是本次研究建立的預測模型,並非 Strata 官方保證的升級效能。
Strata 系列:模型比較與實測 · 硬體公式與驗證 · 升級成本與效益
資料查核:2026 年 10 月 13 日。適用於原版 ISTA IQ3_XXS、單張 NVIDIA 桌機顯卡、11~32GB 級別顯存,且 RAM/顯存沒有換頁的情境;不直接套用 Swift、其他量化、筆電、多卡或全部專家常駐顯存的配置。
六個硬體輸入,分開預測兩種速度
固定基準是 i7-11700、RTX 5060 Ti 16GB、64GB DDR4-3200 雙通道與 PCIe 4.0 x8。沿用 Strata 0.1.41 各九次測試中位數:Prefill 1,666.44、Decode 51.30 tokens/s;名義 32K/4K 提示實際為 31,566/3,562 tokens。新版重測另列於實測文章,不混入這組凍結係數。
x = (G, Bv, V, C, R, B)
x0 = (11250, 448, 16, 20585, 51.2, 13.8)
P = 1666.44 × exp(Σ βP[i] × ln(x[i]/x0[i]))
D = 51.30 × exp(Σ βD[i] × ln(x[i]/x0[i]))
T = 51200/P + 4096/D
省時% = 100 × (1 − T/110.5682330691711)
P、D 的單位為 tokens/s,T 為秒;省時正值表示更快,負值表示更慢。G 是 PassMark GPU Compute,C 是 CPU Mark 多核;兩者採 2026 年 10 月 13 日查核的型號平均,並非每台主機實測跑分。GPU Compute 也不是 G3D Mark、TFLOPS 或 AI TOPS。PassMark 測試方法
| 輸入及單位 | Prefill 指數 βP | Decode 指數 βD |
|---|---|---|
| GPU Compute G,Ops/Sec | 0.7672002634 | 0.3270955375 |
| 顯存頻寬 Bv,GB/s | 0 | 0.1601723440 |
| 顯存容量 V,級別以 GiB 近似 | 1.0812454543 | 0.7791361997 |
| CPU Mark C | 0.0414423243 | 0 |
| RAM 理論頻寬 R,GB/s | 0 | 0.1868414154 |
| RAM→GPU 有效 H2D 頻寬 B,GB/s | 0.1244549227 | 0.1342949023 |
公式在 log 空間做非負 ridge 擬合,正則化 λ=0.3,以本機與作者主機校準,不另乘版本倍率。係數為 0 不代表該硬體沒有作用,而是有限且彼此相關的樣本未辨識出額外正向作用。各指數不是固定耗時占比,也不能外推成顯存無限增加、速度就無限提高。
公式有多準?
驗證時每次移除整台主機,用其餘主機重新調參與擬合,再預測被移除者;作者被移除時也移除其校準條件。本機是指定基準,不計入持出成績,因此 Prefill 有 13 組,Decode/耗時有 11 組。24-token 短輸出資料以 0.25 權重擬合。
| 方法 | Prefill | Decode | 合成耗時 |
|---|---|---|---|
| 只用 GPU 跑分+顯存容量 | 21.74% | 16.32% | 19.85% |
| v4 六因子 | 19.81% | 8.47% | 10.88% |
排除 24-token 輸出子集後,v4 耗時 MAPE 為 10.28%,但仍含部分 40~121-token 測試。方法選擇使用了同一批驗證結果,尚無全新盲測集;2080 Ti、OCuLink 5060 Ti 的 Prefill 曾分別高估 93.95%、57.49%,所以平均誤差不是個別升級的誤差上限。
作者 RTX 5070 的實測校準點為 1,745.16/61.64 tokens/s,合成 95.79 秒、相對基準省時 13.37%。完全排除作者後,公式預測為 1,811.02/57.51,耗時誤差+3.87%。前者是校準一致性,後者才是持出檢查。作者原始測試資料
PCIe 與 DDR:理論頻寬不等於實際搬運速度
| 規格 | 頻寬 |
|---|---|
| PCIe 4.0 x8 | 15.75 GB/s |
| PCIe 4.0 x16 | 31.51 GB/s |
| PCIe 5.0 x8 | 31.51 GB/s |
| PCIe 5.0 x16 | 63.02 GB/s |
| DDR4-3200 雙通道 | 51.2 GB/s |
| DDR5-5600 雙通道 | 89.6 GB/s |
| DDR5-6000 雙通道 | 96 GB/s |
PCIe 數字已扣編碼、未扣封包與 DMA 開銷;H2D 還受 RAM 可用頻寬、控制器與同時負載限制。本機 13.8GB/s 是實測值;資料缺漏主機補入的 DDR5 雙通道與 H2D 50GB/s 等是假設。尤其作者 RAM 通道未確認,不能將其 83.2GB/s 與 H2D 50GB/s 當成實測。PCI-SIG 頻寬資料
5060 Ti 原生為 x8;換 Gen5 平台最多是 5.0 x8。換成 x16 顯卡時,鏈路也可能一起變寬,不能重複加算「換卡」與「PCIe 升級」收益。更快 H2D 還可能改變 Strata 的 CPU/GPU 分工。5060 Ti 規格、分工原始碼
顯存容量、命中率與 RAM 容量要分開看
專家快取空間=總顯存扣除桌面、其他程式、共享權重、KV、工作空間與預留。本機 16GB 卡的專家快取實測約 7.91GiB;若其他占用不變,12GB 卡只剩約 3.9GiB。這是容量試算,並非速度減半,而且熱門專家分布不平均,不能用快取容量比例代替命中率。
部分統計的 reported hit rate 排除了 PCIe offload。若 H 是該命中率、x 是全部路由中的 offload 比例,應拆成 GPU 常駐=(1−x)H、CPU=(1−x)(1−H)、PCIe 分派=x。5080 某次報告 H=0.981、x=0.401,實際常駐路由比例約 58.8%,不是 98.1%。5080 原始紀錄
RAM 容量不直接乘入速度公式。本機專家已常駐 RAM;若沒有記憶體壓力,其他條件相同,64GB 升 128GB 的直接加速可接近零。增加容量的價值是容納更大模型、更多程式及避免 SSD 換頁。顯存若超額使用也可能大幅變慢,因此不能只追求填滿快取。RAM 放置模式、顯存預留實測
使用前要知道的限制
- 51,200 輸入+4,096 輸出是統一換算情境。沿用 32K Prefill/4K Decode 速率,不是完整 Coding Agent 任務實測;不包含載入、排隊、工具執行或壓縮,較長上下文的實際生成速率也可能改變。
- 提示詞也會影響 Decode。MTP 每輪有效產出受草稿接受率影響;作者約 3.19 tokens/輪,本機樣本約 2.13,跨機差異不能全部歸因硬體。
- 缺漏欄位會改變結果。替換作者 H2D 假設,升級省時點估最多移動 3.60 個百分點;連 RAM 通道假設一起改,最多 7.42 個百分點。這是敏感性試算,不是信賴區間。
- 平均準確不等於通用。48GB 全專家常駐改裝卡與 Laptop 的範圍外耗時誤差約 −34.47%/+51.09%,不應套用桌機回歸公式。
這套公式適合排列待驗證的升級方向。要確認實際收益,仍應優先做同機 A/B,固定模型、提示、採樣與 MTP,量測 H2D、快取路由、CPU/GPU 重疊,以及每輪真正產生的 tokens。Strata 社群測試方法與資料

留言討論