Limites de débit et quotas
Comment fonctionnent les limites de requêtes, les portées de jetons et les politiques de quota dynamiques.
TENSORAXIS détermine les limites de débit et les quotas en fonction de la configuration du déploiement, des groupes d'utilisateurs et des portées de jetons. Les valeurs exactes peuvent varier selon le compte, le groupe, le modèle et la politique d'exploitation ; cette documentation ne code donc pas en dur les valeurs de RPM, TPM, RPD ou de tarification.
Limites pouvant affecter les requêtes
| Type de limite | Description |
|---|---|
| Portée du jeton | Les jetons peuvent être limités par modèle, groupe, IP, quota et politique de débit |
| Quota de compte | Les requêtes peuvent échouer lorsque le solde, le quota d'abonnement ou le quota accordé est insuffisant |
| Limites de modèle/groupe | Les déploiements peuvent imposer des fenêtres de requêtes par utilisateur et par groupe, y compris le nombre de requêtes réussies et, éventuellement, le nombre total de requêtes |
| Limites en amont | Les fournisseurs en amont peuvent également renvoyer des erreurs de limite de débit ou de capacité |
Lorsque vous atteignez une limite
Les échecs liés aux limites de débit renvoient généralement 429. Les clients doivent :
- Réessayer avec un backoff exponentiel, par exemple 1 s, 2 s, 4 s et 8 s.
- Contrôler la concurrence afin que plusieurs workers n'épuisent pas le même jeton en même temps.
- Pour les tâches vidéo asynchrones, limiter le débit à la fois de la soumission des tâches et du polling.
- Éviter les tentatives infinies sur les requêtes échouées ; consigner le corps de la réponse et examiner les échecs répétés.
Trouver les limites réelles
Les limites réelles proviennent de la console et de la configuration de déploiement actuelle :
- Utilisez la page Jetons pour consulter ou configurer l'accès au niveau des jetons.
- Utilisez la place de marché des modèles pour connaître la disponibilité et la tarification actuelles des modèles.
- Les déploiements d'entreprise ou privés peuvent utiliser des politiques de limite de débit gérées par l'administrateur.
Les données de démonstration affichées dans la console ou sur les pages de détails des modèles ne constituent pas un contrat d'API. Pour les intégrations en production, fiez-vous aux paramètres des jetons, au quota du compte et aux réponses réelles du serveur.