Нагрузочное тестирование LLM: TTFT, ITL, p95, ошибки 429 и цена 1000 диалогов
Какие метрики нужны вместо «среднего времени ответа», как измерить их при стриминге через Locust и k6, как считать стоимость диалога и что делать с лимитами провайдера. С кодом сценария и формулами.