在租用的 GPU 上运行视觉、音频和嵌入推理。

分析预处理、输入形状和峰值内存

在预期的批和输入分布下测量解码、调整大小、特征提取、加载的模型内存、框架工作区和临时分配。比较GPU时保持预处理相同。

• 记录冷启动和热启动内存
• 测试目标批次、并发和输入分布
• 保持足够的余量以避免内存不足重启

基准冷、温和尾部延迟

捕获预处理、排队时间、p50和p95延迟、吞吐量和错误率。对于批处理作业，记录每小时接受的预测。在相同的模型质量下比较候选，而不是依赖峰值硬件规格。

根据利用率选择专用或请求驱动执行

专用GPU适合可预测或持续的使用。突发流量可能更倾向于请求驱动的worker，当缩容节省超过冷启动开销时。使用代表性的流量轨迹，并在比较中包含空闲时间。