如何为LLM选择云GPU。

1. 从工作负载模式开始

推理存储权重和运行时状态；训练增加梯度、优化器状态和激活；参数高效微调介于两者之间。在比较硬件之前，写下模型修订、精度、上下文或序列长度、批和并发。

2. 构建内存预算

粗略的权重估计是参数乘以每参数字节数，但内核、量化元数据、KV缓存、激活和碎片化会增加开销。将任何计算器视为候选清单，然后验证峰值分配。

• 添加10–20%的运营余量作为起始假设
• 不要静默混合十进制GB和二进制GiB
• 更改上下文、批次或运行时后重新测试

3. 比较结果，而非规格

对于推理，比较延迟和每百万可接受token的美元。对于训练，比较每个可接受检查点的时间和美元。对于视觉工作，比较每个可接受图像、片段或帧的成本。