confident-ai/deepeval
Фреймворк оценки LLM-приложений: метрики для RAG и агентов, запуск как обычные pytest-тесты.
0354236- Вердикт
- Пробовать
- Язык
- Python
- Звёзды
- 18 846 на
- Лицензия
- Apache-2.0
- Репозиторий
- GitHub →
Что делает
DeepEval описывает себя как open-source фреймворк оценки LLM, похожий на Pytest, но заточенный под юнит-тесты LLM-приложений. Внутри готовые метрики: G-Eval, DAG, а для агентов Task Completion, Tool Correctness, Plan Adherence и Step Efficiency. Оценивать можно приложение целиком как чёрный ящик, траекторию агента или отдельные шаги: вызовы LLM, инструменты, ретривал.
Где полезно
Там, где у команды уже есть RAG или агент и нужен воспроизводимый способ сказать «стало лучше или хуже». Последний релиз python-v4.2.4 вышел 22 сентября 2026, коммиты шли 12 октября.
Как я бы использовал в тестировании
Собрал бы золотой набор из 30–50 вопросов, добавил метрики Faithfulness и Contextual Precision/Recall и подключил прогон в CI как quality gate с порогами. Метрики на базе LLM судья-модели надо сначала сверить с ручной разметкой на небольшой выборке, иначе порог будет выбран «на глаз». Для агентов начал бы с Tool Correctness: она проверяет вызванные инструменты и аргументы и меньше зависит от настроения судьи.
Минусы
Большая часть метрик использует LLM-судью, а значит, стоит денег и даёт разброс между запусками. В README заметны ссылки на облачную платформу Confident AI; локальный запуск работает, но часть удобств (сравнение прогонов, отчёты) ведёт в платный сервис. API фреймворка быстро меняется, поэтому версии лучше фиксировать.