关于显存工坊
我们做什么
显存工坊(VRAMForge) 专注于大语言模型部署侧的成本与容量问题:给定模型、精度、显卡与并发,算清显存够不够、每秒能出多少 token、一小时多少电费,以及多卡/多机时瓶颈在哪里。
为什么做这个
模型卡上的参数量不能直接回答"这张卡能不能跑"。显存由权重、KV 缓存、激活、框架与 CUDA 图共同决定;速度受显存带宽与算力 roofline 约束。把这些拆开算,采购和部署才不至于拍脑袋。
我们的方法
- 显存:按架构字段(层数、隐藏维度、注意力结构、GQA/MLA、滑动窗口)逐项估算,再叠加运行时开销。
- 速度:解码阶段按显存带宽、预填充阶段按算力估算,并区分框架预设(vLLM / llama.cpp / TensorRT-LLM 等)。
- 校准:与公开基准数据对照,典型误差约 ±15%,并在页面标注估算性质。
边界
我们不做硬件销售,也不承诺任何模型在特定硬件上的实际性能;结果是工程决策的参考,不是保证。