vibrantlabsai/ragas

Что делает

Ragas — библиотека для оценки LLM-приложений, известная метриками для RAG: Faithfulness, Answer Relevancy, Context Precision и Recall. Проект ранее жил как explodinggradients/ragas; на 14 октября 2026 GitHub показывает его под владельцем vibrantlabsai.

Где полезно

Для быстрой первичной оценки RAG и для общения с командой на общем языке: эти метрики стали отраслевым стандартом названий. Лицензия Apache-2.0.

Как я бы использовал в тестировании

Использовал бы метрики Ragas как справочную линейку: посчитать Faithfulness и Context Recall на золотом наборе и сравнить с результатами другого фреймворка. Расхождение между двумя реализациями «одной» метрики покажет, насколько оценка зависит от промпта судьи. Для постоянного quality gate в CI я бы сначала проверил совместимость с версиями ваших SDK.

Минусы

Последний релиз v0.4.3 вышел 13 января 2026, последний коммит в основной ветке датирован 24 февраля 2026. Для проекта такого масштаба это тишина длиной в несколько месяцев, поэтому в карточке «watch», а не «try». Причины затишья я не выяснял и не гадаю: смотрите issues и релизы перед внедрением. Как и у других LLM-метрик, результат зависит от модели-судьи.