Limitation de concurrence
Limitation de concurrence
Une méthode exposée avec @frappe.whitelist() occupe un worker Gunicorn pendant toute son exécution. Une génération de PDF, un export ou un rapport lourd peut durer plusieurs secondes. Si beaucoup d'utilisateurs l'appellent en même temps, tous les workers sont occupés et le site ne répond plus.
Le décorateur @frappe.concurrent_limit() limite le nombre d'exécutions simultanées d'une méthode, sur tous les workers du bench.
Dodock l'utilise déjà sur les méthodes de génération de PDF de frappe.utils.print_format : download_pdf, download_multi_pdf, report_to_pdf et download_report_pdf.
Utiliser le décorateur
Placez @frappe.concurrent_limit() sous @frappe.whitelist(), juste au-dessus de la fonction :
import frappe
@frappe.whitelist()
@frappe.concurrent_limit(limit=3, wait_timeout=30)
def export_rapport_annuel(annee: int):
...
Avec cet exemple, trois exports au plus s'exécutent en même temps. Une quatrième requête attend qu'un export se termine, pendant 30 secondes au plus.
Paramètres
| Paramètre | Type | Défaut | Description |
|---|---|---|---|
limit | int | None | None | Nombre maximal d'exécutions simultanées. Avec None, la limite est automatique (voir ci-dessous). |
wait_timeout | int | 10 | Attente maximale d'une place libre, en secondes. |
Limite automatique : Moitié de workers × threads de Gunicorn. Dodock lit la configuration de Gunicorn comme Gunicorn lui-même : valeurs par défaut (WEB_CONCURRENCY), fichier de configuration, GUNICORN_CMD_ARGS, puis ligne de commande. Hors Gunicorn (serveur de développement, tâche planifiée, commande), il n'y a pas de limite.
Fonctionnement
Dodock garde dans Redis une liste de jetons, un par exécution autorisée. La clé Redis est concurrency:<module>.<fonction>.
- Au début de l'appel, la requête prend un jeton (
BLPOP) et attend au pluswait_timeoutsecondes. - À la fin de l'appel, en succès ou en erreur, la requête rend le jeton (
LPUSH). - Si aucun jeton n'est libre avant la fin de l'attente, Dodock lève
frappe.exceptions.ServiceUnavailableError.
Si un worker s'arrête sans rendre son jeton, la clé de capacité expire après une heure. Dodock recrée alors la liste de jetons.
Si Redis ne répond pas, la limite ne s'applique pas : la méthode s'exécute et Dodock enregistre un journal d'erreur.
Réponse quand le serveur est occupé
Le client reçoit une réponse HTTP 503 avec l'en-tête Retry-After, égal à wait_timeout (1 seconde au moins). Le message est « Le serveur est occupé. Veuillez réessayer dans quelques secondes. »
HTTP/1.1 503 Service Unavailable
Retry-After: 30
Une intégration peut lire Retry-After pour planifier un nouvel essai.
Cette réponse 503 ne crée pas d'entrée dans le journal des erreurs (skip_error_log). Une rafale de requêtes refusées ne remplit donc pas ce journal. Les autres erreurs ServiceUnavailableError restent enregistrées.
Hors requête HTTP
Le décorateur ne fait rien hors d'une requête HTTP : tâches en arrière-plan, commandes bench, tests qui appellent la fonction directement.
Consulter la limite automatique
La méthode frappe.concurrency_limiter.get_stats renvoie la limite automatique. Elle demande le rôle « System Manager ».
frappe.call("frappe.concurrency_limiter.get_stats")
# Exemple de résultat : {"default_limit": 4, "web_tier_concurrency": 8}
| Clé | Contenu |
|---|---|
default_limit | Limite automatique, ou None sans pool de workers Gunicorn. |
web_tier_concurrency | Nombre de requêtes simultanées de Gunicorn (workers × threads), ou None. |
Lire la configuration de Gunicorn
Deux fonctions de frappe.concurrency_limiter donnent la configuration de Gunicorn du processus courant. Utilisez-les pour adapter vos propres limites ou délais à la taille réelle du serveur.
from frappe.concurrency_limiter import web_tier_concurrency, web_tier_settings
settings = web_tier_settings()
# Exemple de résultat : WebTierSettings(workers=3, threads=4, timeout=120, graceful_timeout=30)
concurrency = web_tier_concurrency()
# workers × threads, ici 12
web_tier_settings() renvoie un tuple nommé WebTierSettings :
| Champ | Contenu |
|---|---|
workers | Nombre de workers Gunicorn. |
threads | Nombre de threads par worker. |
timeout | Durée de silence d'un worker avant que le master l'arrête. Ce n'est pas une durée maximale de requête : 0 désactive ce délai, et un worker à plusieurs threads signale son activité au master pendant ses requêtes. |
graceful_timeout | Délai laissé aux workers pour finir leurs requêtes à l'arrêt. |
Dodock lit ces valeurs dans le même ordre que Gunicorn (voir la limite automatique ci-dessus). Un worker réutilise le fichier de configuration déjà chargé par le master.
Les deux fonctions renvoient None dans ces cas :
- le processus n'est pas servi par Gunicorn (variable
SERVER_SOFTWARE) : serveur de développement, commandebench, tâche en arrière-plan ; - la configuration de Gunicorn est invalide. Dodock ne calcule alors aucune limite à partir de valeurs supposées.
Le résultat est calculé une seule fois par processus.
Points d'attention
- Réservez le décorateur aux méthodes lentes. Sur une méthode rapide, l'appel à Redis ajoute du temps sans bénéfice.
- La limite compte les appels en cours, pas les appels sur une période. Pour limiter le nombre d'appels sur une période (par adresse IP ou par clé), voir le décorateur de limite de débit.