#vllm

vllm-project/guidellm

Нагрузочные бенчмарки LLM-серверов с метриками TTFT и ITL под SLO. Нужен, если вы хостите модель сами.