产品详情

api-bench

打开的网站写，它向模型接口发送真实请求，测量首字时间、生成速度、成功率和缓存命中，支持 Messages 和 Responses 两种协议。发现频道帖写也可以下载脚本在本地测。