Skip to content

1 限制维度 ​

为保障平台稳定性和公平性,星辰 MaaS 对 API 调用实行速率限制。本文说明限制规则、错误码、响应头以及触发限流后的处理建议。

星辰 MaaS 采用 双重限流 机制,按维度独立计算、互不抵扣:

维度含义计算口径
并发请求数(Concurrency)同一时刻正在处理中(已发送未返回)的请求数量上限按API Key+ 模型分组计算,流式请求在流结束前持续占用并发槽
TPM(Tokens Per Minute)每分钟内请求消耗的 Token 总量上限按API Key+ 模型分组计算,统计口径为 输入 token + 输出 token

两个维度任一触顶即触发限流。流式输出按最终实际产出的 token 计入 TPM,请求结束后补扣。

2 模型默认额度与额度升降 ​

每个API Key开通模型时,默认并发20、TPM 100w,apikey+模型独立限流,不挤占

申请提升额度:登录控制台 → 【在线咨询】 → 说明模型、期望并发/TPM、业务场景说明 → 平台技术支持人员会与您联系。

3 如何合理应对速率限制 ​

我们建议开发者在系统设计中提前考虑以下策略

  1. 控制并发与请求频率
  • 使用请求队列或并发池

  • 避免瞬时“洪峰式”请求

  • 避免固定间隔的高频重试

  1. 异步请求或批处理 API
  • 非实时场景可通过批处理方式或异步请求降低并发压力(见批量推理部分)

4 常见问题 ​

Q
429 等限流报错是否计费?
触发 429 限流报错的请求平台未实际处理,不计费;但 503 过载场景下若已部分处理,按实际消耗 token 计费。
Q
TPM 是按账户还是按 API Key 统计?
默认按 API Key + 模型分档统计。企业级客户可申请按 API Key / 项目维度拆分额度,见控制台「子账号配额」。
Q
流式请求的 token 如何计入 TPM?
按请求最终实际产出的总 token(输入 + 输出)在请求结束时一次性补扣,过程中不占用 TPM 槽位,但持续占用并发槽位直至流结束。
Q
不同模型是否共享额度?
不共享。各模型分档独立计算并发与 TPM,跨模型调用互不影响。