ПробоватьPython
confident-ai/deepeval
Фреймворк оценки LLM-приложений: метрики для RAG и агентов, запуск как обычные pytest-тесты.
GitHub-радар
Что делает проект, где он полезен, как его тестировать и какие у него минусы. Звёзды указаны на дату карточки.
ПробоватьPython
confident-ai/deepteam
Red teaming LLM и агентов на базе DeepEval: 50+ уязвимостей и атаки с локальным запуском.
ПробоватьTypeScript
langfuse/langfuse
Open-source платформа трассировки и оценки LLM-приложений, которую можно развернуть у себя.
ПробоватьPython
microsoft/PyRIT
Фреймворк Microsoft для red teaming генеративного AI: сценарии атак, цели, оценщики.
ПробоватьPython
NVIDIA/garak
Сканер уязвимостей LLM: набор проб на jailbreak, утечки, prompt injection и токсичность.
ПробоватьTypeScript
promptfoo/promptfoo
Декларативные evals и red teaming из командной строки: сравнение моделей и проверки в CI.
НаблюдатьPython
vibrantlabsai/ragas
Классический набор метрик для RAG, но репозиторий переехал, а коммитов с февраля 2026 нет.
НаблюдатьPython
vllm-project/guidellm
Нагрузочные бенчмарки LLM-серверов с метриками TTFT и ITL под SLO. Нужен, если вы хостите модель сами.
Ничего не нашлосьПопробуйте другой вердикт или тег.