replicate 符合我心中的理想推理平台，serverless 模式，秒级计费，自定义模型。以前用容器做serverless，一定绕不开如 java 环境启动时间长的问题，但现在模型推理环境比 java 长多了。所以 replicate 目前同样存在的一个痛点问题就是 “低频访问的模型，很难用到需要实时性的推理场景“。

Infra 问题才让人着迷。