improved

2024.07.23 分层速率方案与免费模型RPM提升10倍上线

🚧

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。


为了提供更稳定和优质的服务,我们将在2024年7月23日开始对当前SiliconCloud的速率限制系统进行一次重要的系统更新。以下是更新的详细内容和时间安排。


更新内容

  • 基于实际的消费分层速率:新方案通过RPM、TPM 维度对模型进行速率限制,用户根据实际API消费金额享有不同速率权益。用得越多,可用的最大速率越高
  • 免费模型最高速率提升10倍:新方案用于免费模型的 RPM 从 100 提升至1000,与此同时当前免费模型的 TPM达到了 50000。如果需要使用更高的 TPM 能力,可以进一步使用当前的付费模型。
  • 通过“Pro/”区分模型的不同版本:对于区分部分模型的免费版本和付费版本的模型,并保障兼容性。免费版命名按照原先模型命名规则命名;收费版命名是在模型前加上 "Pro/"
  • 更多升级内容详见RFC: SiliconCloud速率限制。

公测时间

  • 测试时间:2024年7月23日至2024年7月31日

测试方式

  1. 切换公测域名:
  • 2024年7月23日0:00开始,新域名生效。请将原先域名 api.siliconflow.cn 替换成公测域名 public-beta-api.siliconflow.cn 进行测试。
  1. 进行相关测试:
  • 选择模型进行测试。如果想体验付费小模型的用户,在免费模型名称前加上"Pro/"。允许用户在测试期间体验付费版的服务。
  • 请确保在此期间完成所有必要的测试和验证工作。
  • 测试完成后,如果您的业务符合预期,请您切换回原域名api.siliconflow.cn。如果测试遇到问题,请联系我们进行反馈。 [email protected]
  1. 平台全量上线:
  2. 平台预期在8月1日中午12:00进行全量升级,在api.siliconflow.cn进行全量更新。请您务必在上述时间内进行反馈。
  3. api.siliconflow.cn域名上线后,原先的公测域名 public-beta-api.siliconflow.cn 将于四天后失效(8月5日 中午12:00)。请务必在此之前切换回原域名,以避免服务中断。

如何处理速率信息:如何处理速率限制


联系方式:

期待您的反馈,并感谢您对平台的支持和理解。希望这次更新能为您带来更好的服务体验。
如有其他相关问题,请 联系我们 进行咨询。