容量规划
预估存储容量与增长，辅助规划上下文、并发与资源边界。
上下文 / 并发容量规划
围绕指定模型、量化方式与 GPU，评估不同上下文和并发组合下的部署可行性。
GPU 单卡显存48 GB
可行组合数量0
最大可行组合暂无
| 并发 \ 上下文 | 4096 | 8192 | 16384 | 32768 | 65536 | 131072 |
|---|---|---|---|---|---|---|
| 1 | 超出 1793.55 GiB / 卡 超出 1745.5 GiB | 超出 1836.11 GiB / 卡 超出 1788.1 GiB | 超出 1902.82 GiB / 卡 超出 1854.8 GiB | 超出 2009.02 GiB / 卡 超出 1961 GiB | 超出 2220.03 GiB / 卡 超出 2172 GiB | 超出 2642.01 GiB / 卡 超出 2594 GiB |
| 2 | 超出 1841.32 GiB / 卡 超出 1793.3 GiB | 超出 1904.32 GiB / 卡 超出 1856.3 GiB | 超出 2014.39 GiB / 卡 超出 1966.4 GiB | 超出 2199.06 GiB / 卡 超出 2151.1 GiB | 超出 2593.13 GiB / 卡 超出 2545.1 GiB | 超出 3408.99 GiB / 卡 超出 3361 GiB |
| 4 | 超出 1936.84 GiB / 卡 超出 1888.8 GiB | 超出 2040.74 GiB / 卡 超出 1992.7 GiB | 超出 2237.53 GiB / 卡 超出 2189.5 GiB | 超出 2579.15 GiB / 卡 超出 2531.2 GiB | 超出 3339.33 GiB / 卡 超出 3291.3 GiB | 超出 4942.95 GiB / 卡 超出 4894.9 GiB |
| 8 | 超出 2127.9 GiB / 卡 超出 2079.9 GiB | 超出 2313.58 GiB / 卡 超出 2265.6 GiB | 超出 2683.81 GiB / 卡 超出 2635.8 GiB | 超出 3339.32 GiB / 卡 超出 3291.3 GiB | 超出 4831.73 GiB / 卡 超出 4783.7 GiB | 超出 8010.88 GiB / 卡 超出 7962.9 GiB |
| 16 | 超出 2510.01 GiB / 卡 超出 2462 GiB | 超出 2859.26 GiB / 卡 超出 2811.3 GiB | 超出 3576.37 GiB / 卡 超出 3528.4 GiB | 超出 4859.67 GiB / 卡 超出 4811.7 GiB | 超出 7816.52 GiB / 卡 超出 7768.5 GiB | 超出 14146.74 GiB / 卡 超出 14098.7 GiB |