レート制限とクォータ

TENSORAXIS のレート制限とクォータは、デプロイ構成、ユーザーグループ、トークンスコープによって決定されます。正確な値はアカウント、グループ、モデル、運用ポリシーによって異なる場合があるため、本ドキュメントでは RPM、TPM、RPD、または料金の値をハードコードしていません。

リクエストに影響する可能性のある制限

制限に達した場合

レート制限による失敗は通常 429 を返します。クライアントは以下を行う必要があります。

• 1秒、2秒、4秒、8秒のような指数バックオフでリトライする。
• 複数のワーカーが同じトークンを同時に使い切らないよう、並行数を制御する。
• 非同期の動画タスクでは、タスクの送信とポーリングの両方にレート制限を適用する。
• 失敗したリクエストに対して無限にリトライしない。レスポンスボディをログに記録し、繰り返し発生する失敗を調査する。

実際の制限を確認する

実際の制限は、コンソールおよび現在のデプロイ構成から確認できます。

• トークンページを使用して、トークンレベルのアクセスを表示または設定します。
• モデルプラザを使用して、現在のモデルの利用可否と料金を確認します。
• エンタープライズまたはプライベートデプロイメントでは、管理者が管理するレート制限ポリシーを使用する場合があります。