Лимиты

Сам прокси не ставит квоту запросов в минуту. Хосты ограничивают число одновременных задач. Когда слоты кончились, шлюз отвечает:

rate limit exceeded: too many concurrent requests (24/24)

Это 429.

Очередь

Каждый запрос к чату ждёт свободный слот в очереди своей модели до 45 секунд и уходит по порядку прихода. 429 от заполненного хоста возвращает запрос в начало очереди, а не сразу клиенту. Если ожидание кончилось, прокси отвечает 429 queue_timeout.

Повтор при лимите

В настройках включите Persist through rate limits, чтобы повторять попытки до двух минут. Обычно ответ приходит, просто позже.

• Очередь на 45 секунд включена всегда. Повтор до двух минут по умолчанию выключен
• Действует и для API, и для чата
• HTTP-клиент должен ждать (таймаут ≥ 120 с), иначе вы увидите таймаут на своей стороне

Чем это не является

Это не добавляет GPU. Если насыщена вся сеть, вы ждёте или падаете. Это также не обходит 402 / 401 / 404.

Откат на клиенте

Даже без persist отступайте на 429. Лавина повторов делает 429 хуже для всех, включая вас.

Ёмкость на статусе

Статус показывает load_pct модели и in-flight против эффективной максимальной параллельности. 100% загрузки DeepSeek при маленьком эффективном капе при всплеске — ожидаемо: лишние эскроу с нашей стороны не добавляют вес хоста.