vllm-project/guidellm

Что делает

GuideLLM — платформа бенчмарков для LLM-инференса с упором на SLO. Собирает полные распределения TTFT, ITL и сквозной задержки, умеет многопроцессный, многопоточный и асинхронный запуск, управляется через CLI и API. По умолчанию результаты пишутся в benchmarks.json и benchmarks.csv.

Где полезно

Когда вы сами размещаете модель (например, на vLLM) и хотите знать, сколько запросов сервер выдержит в пределах заданной задержки. Проект активный: релиз v0.8.1 от 8 октября 2026, пуш 14 октября. Лицензия Apache-2.0.

Как я бы использовал в тестировании

Для нагрузочного тестирования self-hosted LLM-сервиса: задал бы SLO по TTFT и ITL, прогнал разные уровни нагрузки и построил кривую «нагрузка против задержки». Результаты в CSV удобно хранить как артефакт и сравнивать между версиями модели и конфигурации сервера.

Минусы

Узкий случай: инструмент полезен тем, кто управляет инференсом сам, а не тем, кто ходит в API провайдера. Версия 0.x, формат вывода и параметры могут меняться. Аналог ray-project/llmperf я не рекомендую: репозиторий архивирован, последний пуш датирован декабрём 2024. Поэтому GuideLLM в радаре как «watch»: присматриваюсь, но в курс пока не включаю.